软件 测试 泰斗 传道 解 惑 Google 软件 测试 精髓 完美 呈现 PEARSON 
淘宝 测试 技术 专家 翻译 ”测试 界 知名 专家 见 力 推荐 





Wii 


测试 工程 师 人 生 
测试 开发 工程 师 人 生 
谷歌 员工 访谈 录 









| 像 Google 一 样 进行 软件 测试 


[3$] James Whittaker Jason Arbon Jeff Carollo 著 
黄 利 李 中 杰 BAA 译 





G 人 民 邮 电 出 版 社 


POSTS & TELECOM PRESS 


S 





《Google 测试 之 道 》 业 界 热 评 


序 

Æ 

Ht = 

第 1 瘟 Google 测试 介绍 
1.1 质量 不 等 于 测试 
1.2 角色 


1.2.1 工程 师 (SWE) 
132 测试 开发 工程 师 (SET) 
1.2.3 测试 工程 师 CTE) 

1.3 组 织 结构 

LAE. Æ. P 

1.5 测试 类 型 

第 2 章 软件 测试 开发 工程 | 

2.1 SET 的 工作 
2.1.1 开发 和 测试 流程 
2.1.2 SET 究竟 是 谁 





























J À HJ A AS 





“James Whittaker 长 期 以 来 一 直 都 能 准确 把 握 测 试 领域 的 发 展 脉搏， 
在 这 个 云 计算 变革 浪潮 测 涌 的 时 代 ， 不 论 对 Google 员 工 ， 还 是 对 其 他 任 
何 测试 人 员 来 说 ， 这 本 书 都 是 紧 跟 时 代 、 保 持 竞 争 力 的 必 读 书籍 。” 
Sam Guckenheimer， 微 软 Visual Studio 产 品 及 战略 负责 人 

“Google 一 贯 是 测试 领域 的 创新 者 一 一 无 论 是 对 手工 测试 与 自动 化 
测试 的 结合 、 本 地 团队 与 外 包 资 源 的 融合 ， 还 是 近来 开创 性 地 用 真实 场 
景 测试 补充 实验 室 场 景 测试 等 方面 。 这 种 对 创新 的 淘 望 帮助 Google 解 决 
了 很 多 新 问题 ， 更 好 地 发 布 了 产品 应 用 。 这 本 书 中 ，James Whittaker 系 
统 地 描绘 了 Google 是 如 何在 快速 发 展 的 软件 测试 领域 取得 成 功 的 。” 
Doron Reuveni，uTest CEO 及 联合 创始 人 

“这 本 书 改 变 了 游戏 规则 ， 从 版 本 的 每 日 发 布 到 平视 显示 器 〈 译 
TE: 平视 显示 器 是 一 种 飞行 辅助 仪器 。 飞 行 员 透 过 座舱 正 前 方 组 合 玻璃 
上 的 光电 显示 装置 观察 舱 外 景物 时 ， 可 以 同时 看 到 有 登 加 在 外 景 上 的 字 
符 、 图 像 等 信息 ， 方 便 随 时 察看 飞行 参数 。 这 里 指 软件 系统 参数 的 集中 
显示 面板 ) o James ”Whittaker 把 计算 机 科学 的 方法 应 用 到 软件 测试 领 
域 ， 这 将 成 为 未 来 软件 企业 的 标准 。 本 书 以 平实 而 饶 有 趣味 的 语言 风格 
描述 了 Google 在 流程 和 技术 上 的 创新 。 对 每 个 做 软件 开发 的 人 来 说 ， 这 
都 是 一 本 不 可 多 得 的 好 书 。” 

—— Michael Bachman, Google AdSense/Display 部 门 高 级 工程 经 理 

“通过 记录 Google 测试 工程 实践 中 的 大 量 奇 思 妙 想 ， 作 者 已 经 把 本 
书 打造 成 了 现代 软件 测试 领域 的 圣经 。” 



































—— Alberto Savoia，Google 工 程 总 监 

“如 果 你 要 在 云端 发 布 代 码 并 尝试 建立 一 套 保 证 产品 质量 和 用 户 满 
意 度 的 策略 ， 你 必须 仔细 研究 和 思考 本 书 中 的 方法 。” 

— Phil Waligora, Salesforce.com 

“James Whittaker 在 测试 领域 是 很 多 人 的 导师 和 灵感 源 果 。 如 有 果 没 有 
他 的 贡献 ， 我 们 在 测试 领域 不 可 能 拥有 今天 这 样 的 人 才 和 技术 。 我 一 直 
向 豚 他 的 昕 力 和 激情 。 作 为 业界 巨 芍 ， 他 的 作品 绝对 值得 每 位 IT 行业 的 
人 阅读 。” 

一 一 Stewart Noakes， 丙 国 TCL 集 团 总 裁 

“ 当 James Whittaker 在 微软 工作 的 时 候 我 曾 与 他 共事 。 虽 然 我 怀念 
与 他 一 起 在 微软 的 日 子 ， 但 我 知道 他 在 Google 会 从 事 伟大 的 工作 。 这 本 
书包 含 了 各 种 创新 的 测试 理念 、 实 践 案例 及 对 Google 测 试 体系 的 深刻 洞 
察 。 任 何 对 Google 测 试 和 质量 技术 稍 感 好 奇 的 人 ， 或 有 意 发 现 一 些 细 新 
测试 思路 的 人 ， 都 能 从 这 本 书 中 有 所 收获 。” 

一 一 Alan Page， 微 软 XBox，《 微 软 的 软件 测试 之 道 》 的 作者 
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每 天 ，Google 者 要 测试 和 发 布 数 百 万 个 源 文 件 、 亿 万 行 的 代码 。 数 
以 亿 计 的 构建 动作 会 触发 几 百 万 次 的 目 动 化 测试 ， 并 在 好 几 十 万 个 浏览 
器 实例 上 执行 。 面 对 这 些 看 似 不 可 能 完成 的 任务 ， 谷 歌 是 如 何 测 试 的 
Ne? 

本 书 从 内 部 视角 告诉 你 这 个 世界 上 知名 的 互联 网 公司 是 如 何 应 对 21 
世纪 软件 测试 的 独特 挑战 的 。 本 书 抓 住 了 Google 做 测试 的 本 质 ， 抓 住 了 
Google 测 试 这 个 时 代 最 复杂 软件 的 精华 。 本 书 描述 了 测试 解决 方案 ， 换 
示 了 测试 架构 是 如 何 设计 、 实 现 和 运行 的 ， 介 绍 了 软件 测试 工程 师 的 角 
色 ; 讲解 了 技术 测试 人 员 应 该 具有 的 技术 技能 : 阐述 了 测试 工程 师 在 产 
品 生命 周期 中 的 职责 ， 讲 述 了 测试 管理 及 在 Google 的 测试 历史 或 在 主要 
产品 上 发 挥 了 重要 作用 的 工程 师 的 访谈 ， 这 对 那些 试图 建立 类 似 Google 
的 测试 流程 或 团队 的 人 受益 很 大 。 最 后 ， 本 书 还 介绍 了 作者 对 于 Google 
测试 如 何 继续 演进 的 见解 、Google 乃 至 整个 业界 的 测试 方向 的 一 些 预 
言 ， 相 信 很 多 读者 都 会 感受 到 其 中 的 洞察 力 ， 甚 至 感到 震惊 。 本 书 可 以 
作为 任何 从 事 软件 测试 人 员 到 达 目 标的 指南 。 

本 书 适 合 开 发 人 员 、 测 斌 人员、 测试 管理 人 员 使 用 ， 也 适合 大 中 专 
院 校 相关 专业 师 生 的 学 习 用 书 ， 以 及 培训 学 校 的 教材 。 




















It brings me great pleasure that the demand for this book was strong 
enough in China to make this translation possible.China is a major player in 
the software industry, and I am pleased that some of my work is available to 
the millions of software professionals in this country.May our code have few 
bugs and many adoring users! 

James Whittaker 

“看 到 这 本 书 在 中 国 的 需求 如 此 旺盛 ， 以 及 它 的 中 译 版 最 终 付 梯 ， 
真 让 我 喜出望外 ， 难 以 言 表 。 在 整个 软件 产业 版 图 中 ， 中 国 占 据 着 非常 
重要 的 位 置 ， 如 果 说 我 的 一 些 工作 能 给 中 国 的 软件 同仁 市 来 些许 帮助 ， 
羊 其 至 哉 。 祝 愿 你 们 的 代码 少 一 些 bug， 多 一 些 挚 爱 的 用 户 。” 

James Whittaker 
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程 实践 更 是 技术 分 享 大 会 中 最 热门 的 话题 之 一 。 但 迄今 为 止 ， 没 有 一 本 
书 系统 地 介绍 Google 内 部 产品 的 研发 流程 与 模式 ， 包 括 开 及 、 测 试 、 发 
布 、 团 队 成 员 如 何 分 工 协作 等 细节 ， 直 到 《How Google Tests 
Software》 的 出 现 ， 才 使 得 我 们 有 机 会 管 中 括 豹 ， 了 解 Google 技 术 神 秘 
之 处 。 这 也 是 我 们 翻译 这 本 书 的 第 一 个 原因 。 

正如 本 书 中 所 提 及 的 那样 ， 互 联网 的 出 现 改 变 了 许多 软件 研发 的 模 
式 。 许 多 曾经 红 极 一 时 的 传统 测试 书籍 里 提 及 的 最 佳 测试 实践 ， 在 当前 
的 环境 下 ， 效 率 会 大 大 下 降 ， 在 一 些 极 端的 情况 下 甚至 会 适得其反 。 我 
自己 就 是 一 名 测试 工程 师 ， 从 事 互联 网 方面 的 测试 工作 ， 对 此 深 有 体 
会 ， 也 经 常 焦虑 如 何在 制约 质量 和 快速 发 布 之 间 寻 找平 衡 ， 所 以 ， 也 特 
别 想 从 一 些 主流 互联 网 公司 的 测试 模式 中 得 到 局 发 和 借鉴 ， 特 别 是 想 看 
一 下 这 个 世界 上 最 成 功 、 增 长 速度 最 快 的 互联 网 公司 一 一 Google， 是 如 
何 应 对 互联 网 测试 挑战 的 。 通 过 翻译 这 本 书 ， 自 己 学 到 了 更 多 感 兴 趣 的 
知识 。 这 也 是 我 们 翻译 这 本 书 的 第 二 个 原因 。 

James Whittaker 在 正式 撰写 本 书 喘 文 版 之 前 ， 于 2011 年 1 月 在 Google 
Testing Blog 上 尝试 发 表 了 “How Google Test Software” 系 列 文章 。 当 看 到 
第 一 篇 时 我 就 被 深 深 地 吸引 住 了 ， 第 一 感觉 就 是 ， 太 棒 了 ! Google 测 试 
团队 居然 是 这 样 组 织 的 ! 之 后 ， 随 着 这 个 系列 文章 的 逐一 公开 ，Google 






































也 逐渐 揭 开 了 其 神秘 面纱 ， 让 我 对 其 测试 实践 也 有 了 越 来 越 多 的 了 解 ， 

但 了 解 的 越 多 ， 疑 惑 也 就 越 多 。 不 得 不 承认 ， 这 几 篇 文章 就 像 正 餐 前 的 
开 骨 小 炉 ， 它 完全 义 起 了 大 家 的 食欲 ， 仪 仪 依赖 这 几 篇 文章 完全 不 能 满 
足 守 探 Google 测 试 体系 的 需求 。 在 2011 年 11 月 的 GTAC (Google Test 
Automation Conference) 大 会 上 ， 我 见 到 了 James 本 人 ， 便 聊 起 了 《How 
Google Test Software》 这 本 书 ，James 一 听 到 又 有 人 在 打探 这 本 书 的 下 
洲 ， 乐 呵 得 嘴 都 合 不 扰 了 ， 却 卖 起 了 关子 来 ， 只 是 说 书 快 出 版 了 。 大 约 
在 2012 年 9 月 ， 这 本 书 的 喘 文 版 终于 问世 之 后 ， 突 然 接 到 李 中 杰 (本 书 

的 合 译 者 之 一 ) 的 电话 ， 问 我 为 什么 不 去 翻译 一 下 这 本 书 呢 。 之 前 虽然 
是 兴趣 使 然 ， 做 过 那 几 篇 文章 的 翻译 ， 但 与 翻译 一 本 书 相 比 ， 还 是 有 些 
微不足道 的 。 但 几经 转 思 ， 还 是 机 缘 巧 合 地 去 做 了 这 件 事 情 ， 这 也 是 翻 
译 这 本 书 的 第 三 个 原因 吧 。 

最 后 要 说 的 ， 也 是 最 重要 的 一 个 原因 。 我 原本 根本 没有 这 么 大 的 勇 
气 来 完成 这 件 事 情 。 众 所 周知 ，James 不 仅 是 测试 领域 的 泰山 北斗 ， 而 
HA LH SCR DER, i UREA, WEEE, PEEB S, ERI 
BUM. WAR TRIG AMA Z. (HAMA, ZATEE ABER, 
他 们 的 乐观 与 自信 让 本 书 的 翻译 得 以 完成 。 与 他 们 两 位 的 合作 ， 笠 福 之 
感 难 以 言 表 ， 上 所 收获 的 也 不 仅仅 是 长 知识 那么 简单 ， 更 有 许多 恢 喜 深 茂 
内 心 。 翻 译 别 人 的 书 ， 像 是 在 反刍 ， 再 精彩 也 是 在 讲 别 人 的 故事 ， 还 是 
期 待 有 朝 一 日， 能够 也 有 机 会 讲 讲 自己 的 故事 。 

最 后 祝愿 国内 的 读者 能 够 从 这 本 书 中 有 所 借鉴 ， 找 到 适合 自己 现状 
的 开发 测试 模式 。 由 于 译 者 水 平 有 限 ， 错 汤 之 处 在 所 难免 ， 耕 有 人 欠 受 之 
处 ， 欢 迎 指正 。 
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“Google 的 测试 理念 有 什么 与 众 不 同 ? Google 的 快速 开发 、 快 速 发 
布 的 秘密 又 是 什么 ? 《Google 软 件 测试 之 道 》 将 Google 的 测试 、 产 品 的 
发 布 变 得 没有 那么 神秘 ， 本 书 系统 地 介绍 了 Google 的 测试 理念 、 上 自动 化 
测试 技术 、 产 品 发 布 流程 ， 以 及 测试 团队 的 组 成 和 测试 工程 师 的 招聘 ， 
是 一 本 真心 做 技术 分 享 的 好 书 ! ” 

一 一 张 南 ，Google 中 国 测试 经 理 

“RP, Googe 测试 就 像 一 副 完美 的 测试 画卷 展现 在 我 的 面 
前 。 没 错 ， 我 说 的 是 ‘完美 ;! 测试 领域 一 直 倡 导 的 诸多 测试 理念 ， 如 尽 
早 测 试 、 注 重 早期 测试 和 评审 、 注 重 测试 人 员 技 能 等 ， 对 于 很 多 测试 团 
队 而 言 ， 是 那么 的 理想 化 ， 以 至 于 实施 起 来 困难 重重 ， 而 在 Google 都 已 
化 作 种 种 测试 实践 ， 目 然 又 现实 。 感 谢 译 者 的 工作 ， 让 更 多 中 国 的 测试 
人 员 可 以 从 中 借鉴 Google 测 试 的 优秀 实践 。” 

一 一 ” 命 晓 梅 ， 独 立 软 件 测试 培训 与 咨询 顾问 、 首 届 ChinaTest 大 会 
执行 主席 

“我 2007 年 刚 加 入 Google 中 国 时 ， 就 被 这 家 企业 具有 的 测试 文化 深 
深 吸 引 。Google 内 将 测试 推 到 上 游 的 实践 、 内 建 质量 的 意识 ， 以 及 优秀 
的 目 动 化 测试 实践 ， 无 一 不 让 我 觉得 兴奋 。 在 担任 Google 中 国 区 的 测试 
负责 人 期 间 ， 我 也 多 次 同 外 界 介绍 Google 的 测试 实践 ， 希 望 Google 的 实 
践 经 验 能 够 更 好 地 帮助 到 更 多 人 。James 的 这 本 书 详尽 地 介绍 了 Google 
的 测试 体系 与 测试 实践 ， 是 一 本 即 系统 又 非常 接地 气 : 的 书 。 很 高 兴 看 
到 人 民 邮 电 出 版 社 组 织 将 这 本 好 书 翻译 成 中 文 ， 相 信 每 位 读者 都 能 从 本 

















书 中 受益 菲 浅 。” 

一 一 上 段 仿 ， 豆 激 工 程 副 总 裁 ， 曾 任 Google 中 国 测 试 经 理 

“这 本 介绍 Google 软件 工程 生产 力 的 好 书 值 得 每 一 位 软件 测试 人 员 
和 研发 管理 者 拥有 ， 我 个 人 甚至 认为 这 是 软件 行业 十 年 难得 一 遇 的 好 
书 ， 书 中 所 描述 的 观点 、 测 试 人 员 的 价值 拓展 和 测试 技术 创新 实践 不 仅 
对 互联 网 行业 的 软件 测试 从 业 人 员 有 着 非 党 好 的 借鉴 意义 ， 而 且 也 为 其 
他 行业 的 软件 工程 人 员 提 供 了 “新 的 这 膀 '"， 让 大 家 都 能 飞 得 更 快 、 更 
高 。 正 确 的 认 知 是 一 切 成 功 的 源头 ， 也 许 你 能 很 容易 找到 十 个 拒绝 了 解 
不 同 观点 的 理由 ， 但 你 依然 可 以 找到 十 个 理由 去 接受 不 同 的 新 观点 ， 莱 
听 则 明 会 让 你 的 工作 更 高 效 ， 目 己 做 得 更 开心 ， 过 得 更 充实 。” 

一 一 重 杰 ， 百 上 度 在 线 网 络 扩 术 有 限 公司 测试 以 构 师 

“软件 测试 方法 会 产生 题 禾 性 的 变化 吗 ? 未 来 还 需要 测试 工程 师 
"3? 最 近 一 年 这 样 的 话题 被 持续 地 讨论 ， 我 没有 结论 ， 但 是 我 党 得 与 其 
只 叭 不休 地 争论 ， 不 如 让 我 们 看 看 世界 级 的 I 企 业 Google 是 如 何 做 测试 
的 。 通 过 本 书 让 我 们 理解 了 Google 的 测试 理念 ， 理 解 了 Google 的 工程 师 
文化 ， 从 中 你 能 发 现 更 适合 你 的 测试 方法 ! ” 
Tur, SUM ES b Bea A 

“这 本 书 是 我 推荐 读者 了 解 敏 捷 测 试 思想 和 技术 的 第 一 读物 ， 没 有 
之 一 。 这 本 书 的 内 容 全 部 来 自 一 线 实际 经 验 ， 而 非 理论 空谈 。 更 为 重要 
的 是 ， 它 传递 了 一 种 非常 重要 的 理性 质量 观 ， 同 时 还 对 如 何 将 这 种 理性 
质量 观 落地 给 出 了 非 第 具体 的 建议 。” 

一 一 ” 吴 写 ,敏捷 咨询 师 (在 敏捷 测试 、 自 动 化 测试 方面 有 深入 研 
) 

“对 于 互联 网 公司 ， 在 快速 前 进 中 保持 高 质量 是 一 个 永恒 的 难题 ， 
在 去 哪儿 网 内 部 ， 开 发 工程 师 、 产 品 经 理 都 需要 参加 测试 ， 以 此 来 提醒 
质量 是 所 有 人 的 事情 而 不 只 是 测试 团队 的 事情 ， 但 是 ， 依 然 有 太 多 
的 质量 问题 和 实施 中 的 难题 没 办 法 解决 。 本 书 可 以 给 那些 关注 如 何在 此 
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困 卉 中 突围 的 人 们 很 多 启发 。” 

一 一 县 永 强 ， 去 哪儿 网 CTO 

“感谢 译 者 翻译 了 这 本 测试 业内 的 经 典 之 作 ， 让 国内 的 测试 团队 能 
够 快速 理解 国际 测试 的 发 展 并 跟 上 国际 节奏 。 我 有 幸 先 阅读 了 本 书 的 部 
分 内 容 ， 对 Patrick ”Copeland 在 序 中 摘 述 的 测试 变革 的 心路 历程 深 有 共 
nj. 招聘 具备 开发 能 力 的 测试 人 员 难 ， 找 到 懂 测 试 的 开发 人 员 更 难 ; 
队 的 变革 开发 团队 不 接受 ， 测 斌 团队 也 不 买账 。 同 时 ， 我 们 面临 的 挑战 
比 Google 更 大 ， 我 们 不 仅 要 做 好 上 自动化， 做 好 持续 集成 ， 做 好 测试 工 
有 具 ， 做 好 研发 生产 力 ， 我 们 还 要 将 测试 技术 与 产品 和 业务 结合 ， 促 进 集 
团 内 产品 和 业务 的 发 展 。 因 此 ， 与 Google 的 测试 人 员 相 比 ， 我 们 不 仅 要 
有 具备 开发 能 力 、 测 试 思维 ， 还 要 具备 业务 思维 ， 能 深刻 理解 业务 所 服务 
的 客户 需求 及 客户 价值 。 做 好 工程 ， 更 要 做 好 业务 ! 加 油 ! ” 

一 一 夏 林 娜 ， 阿 里 巴巴 集团 测试 总 监 

“互联 网 快速 啊 应 变化 的 需求 彻底 题 获 了 传统 的 软件 开 友 和 测试 模 
式 ， 敏 捷 、 持 续 构 建 和 开发 自 测 等 成 为 测试 行业 的 热点 话题 。Google 无 
疑 走 在 测试 变革 的 最 前 沿 ， 并 已 经 在 互联 网 领域 产生 广泛 的 影响 并 拥有 
大 批 拥 是 。Google 的 全 新 测试 理念 和 组 织 形 式 非 党 值得 国内 的 同行 借 
2a 

一 一 刘 立 川 ， 阿 里 巴巴 集团 测试 总 监 

“或 许 有 人 会 质疑 ， 互 联网 公司 也 可 以 有 很 好 的 测试 吗 ? 此 书 可 能 
会 改变 他 们 的 观点 。 第 一 ， 本 书 第 一 作者 James Whittaker 是 一 个 在 微软 
接受 了 最 正统 测试 理念 的 人 ， 又 从 互联 网 的 视角 解读 测试 ， 这 让 他 的 观 
点 全 面 而 具有 说 服 力 ; 第 二 ， 这 本 书 的 中 文 翻译 非常 出 色 ， 读 起 来 像 测 
试行 家 如 数 家 珍 。 所 以 ， 我 强烈 推荐 本 书 ，Google 的 测试 不 一 定 是 最 出 
色 的 ， 但 这 本 书 是 。” 

一 一 某 阿 峰 ， 测 试 圈 儿 里 那个 说 相声 的 

“我 和 本 书 的 三 位 作者 在 西雅图 有 很 多 交流 ， 并 曾经 共事 。James 


























Whittaker ”是 软件 测试 界 强 有 力 的 执行 者 、 探 索 者 和 思考 者 。 本 书 是 他 
和 另外 两 位 作者 在 Google 工 作 的 全 面 、 详 细 总 结 和 提炼 。 他 们 从 软件 测 
试 开发 工程 师 、 软 件 测试 工程 师 以 及 测试 经 理 三 个 不 同 角色 出 发 ， 详 细 
阐述 了 Google 软 件 测 试 之 道 ， 给 企业 ， 特 别 是 互联 网 企业 在 如 何 测 试 、 
如 何 保 证 产品 质量 等 方面 提供 了 很 好 的 参考 。 同 时 开阔 了 我 们 的 视野 ， 
让 我 们 对 软件 测试 的 职 贡 、 手 段 和 未 来 及 展 有 所 思考 。” 


Bill Liu, Software Design Engineer in Test,Amazon 





在 Patrick Copeland RI ENR SZEPEK, RA EWR, WMI 
的 理由 后 来 也 被 逐一 证 实 它们 确实 值得 思考 。 人 们 会 质疑 我 是 否 是 写 这 
本 书 的 最 佳 候选 Googler( 他 们 也 的 确 怀疑 过 )〉 。 有 着 太 多 的 人 想 参 与 
到 这 本 书 的 撰写 之 中 《后 来 也 证 实 的 确 如 此 ) 。 但 更 重要 的 是 ， 我 之 前 
出 版 的 一 些 书籍 多 数 是 给 初学 新 手 看 的 ， 像 How to Break” 系列 和 
(Exploratory Testing》， 都 是 在 从 头 到 尾 讲 一 个 完整 的 故事 。 这 本 书 并 
不 是 这 样 。 读 者 可 能 坐 着 一 口气 恋 完 ， 但 其 实 它 更 适合 作为 一 本 参考 
书 ， 一 本 介绍 Google 是 如 何 完 成 大 小 规模 不 一 的 测试 任务 的 参考 书 。 我 
希望 本 书 的 读者 是 一 些 已 经 在 公司 从 事 测 试 工作 的 人 ， 而 不 是 一 些 初学 
者 ， 他 们 会 有 一 些 基 础 ， 并 会 比较 Google 的 流程 与 他 们 所 使 用 的 流程 之 
间 的 区 别 ， 这 样 他 们 的 收获 更 大 。 我 懂 悍 着 经 验 丰富 的 测试 人 员 、 测 试 
经 理 、 管 理 者 能 够 随手 拿 起 这 本 书 ， 找 一 些 感 兴趣 的 话题 ， 看 一 下 在 某 
些 方面 Google 是 如 何 做 的 。 这 可 真 不 是 我 惯用 的 写作 风格 。 

在 此 之 前 从 没有 写 过 书 的 两 位 工程 师 ， 为 了 这 本 书 ， 加 入 进来 共同 
努力 。 这 两 位 都 是 优秀 的 工程 师 ， 他 们 在 Google 的 工作 年 限 都 比 我 长 。 
Jason Arbon 的 职位 是 TE( 测 试 工程 师 ) ， 但 他 内 心 深 处 有 痢 创 业 情 
怀 ， 在 本 书 “ 测 斌 工程师 ”这 一 章 中 出 现 的 许多 工具 和 想法 ， 都 深 受 他 的 
影响 。 我 们 有 过 一 起 共事 ， 并 彼此 从 对 方 遇 上 受益 民 多 。Jeff Carollo 也 
是 一 名 测试 人 员 ， 但 后 来 转 做 开发 了 。Jeff Carollo 是 我 见 过 的 最 优秀 的 
那 一 类 SET 〈 软 件 测 试 开发 工程 师 ) ， 也 是 少数 几 个 我 认识 的 那 种 可 以 
写 出 “自动 化 之 后 就 不 用 再 参与 ”的 代码 的 人 之 一 ， 他 的 测试 代码 写 得 非 


























第 棒 ， 可 以 独立 运行 不 需要 任何 和 干预。 我 与 这 两 位 才华 横 液 的 人 共同 号 
作 ， 并 在 风格 上 尽 可 能 地 达成 一 致 。 

有 许多 Googler 提供 了 资料 。 当 资料 中 的 文字 和 标题 是 同一 个 人 的 
工作 时 ， 我 们 会 在 标题 中 把 这 个 人 标记 一 下 。 还 有 许多 对 Google 测 试 发 
挥 了 深刻 影响 的 人 ， 我 们 针对 这 些 人 做 了 一 些 采 访 。 这 是 我 们 能 想到 的 
最 好 的 、 让 尺 可 能 多 的 曾经 定义 了 Google 测 试 的 人 参与 进来 的 方法 ， 而 
不 是 搞 一 本 由 30 个 人 合 著 而 成 的 书 。 不 一 定 所 有 的 读者 对 这 些 访谈 都 感 
兴趣 ， 但 在 书 中 可 以 很 清晰 地 找到 这 些 访谈 的 起 止 位 置 ， 以 便 选 择 跳 过 
这 一 部 分 ， 或 者 专门 找到 这 部 分 来 阅读 。 我 们 同样 感谢 为 数 众 多 的 页 献 
者 ， 但 如 果 有 不 到 之 处 ， 也 愿意 接受 任何 批评 。 英 语 实在 是 一 门 贫乏 的 
语言 ， 无 法 用 它 描述 出 这 些 工 作 是 多 么 地 卓越 和 辉 烛 。 

快乐 阅读 ， 快 乐 测试 ， 祝 愿 你 总 能 发 现 〈 并 修复 ) bug. 

James Whittaker 





Jason Arbon 
Jeff Carollo 





献 给 Google、Microsoft 和 全 世界 给 我 启发 的 测试 人 员 。 
James Whittaker 
献 给 我 的 妻子 Heather 和 我 的 孩子 们 Luca、Mateo、Dante 和 Odessa， 
他 们 一 直 认 为 这 段 时 间 我 在 星巴克 工作 。 
Jason Arbon 
ARB, EE Laureni Alex. 
— Jeff Carollo 
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我 们 想 感 谢 那些 不 知 疲倦 地 、 致 力 于 质量 改进 的 Google 工 程 师 们 。 
同样 ， 也 非常 感谢 Google 开 放 的 工程 和 管理 文化 ， 在 对 待 测试 方法 与 实 
践 方面 与 Google 打 造 其 他 产品 如 出 一 统 ， 人 允许 不 断 创新 以 及 天 马 行 空 般 
自由 思维 的 存在 。 

在 这 里 要 特别 向 那些 投入 巨大 精力 并 勇于 承担 风险 将 测试 推 同 云端 
的 人 们 致敬 ， 他 们 是 Alexis O.TorresJoe Muharksy,Danielle Drew,Richard 
Bustamante,Po Hu,Jim Reardon,Tejas Shah,Julie Ralph,Eriel Thomas,Joe 
MikhailIbrahim El Far。 还 要 感谢 我 们 的 编辑 ，Chris Guzikowski 和 Chris 
Zahn， 他 们 一 直 非 常 有 礼貌 地 在 容忍 我 们 这 些 工程 师 的 啼 明 。 感 谢 那 些 
受 访 者 在 书 中 分 享 他 们 的 观点 与 经 验 ， 他 们 是 Ankit Mehta,Joel 
Hynoski,Lindsay Webster,Apple Chow,Mark Striebeck,Neal Norwitz,Tracy 
Bialik,Russ Rufer,Ted Mao,Shelton Mar,Ashish Kumar,Sujay Sahni,Brad 
Green,Simon Stewart,Hung Dang。 特 别 要 感谢 一 下 Alberto Savoia， 他 在 
原型 及 快速 和 迭 代 方 面 的 灵感 成 就 了 今日 Google 快 速 发 布 的 文化 。 感 谢 
Google 和 餐厅 的 工作 人 员 ， 他 们 提供 了 美味 的 餐饮 。 感 谢 Phil 
Waligora,Alan Page,Michael Bachman， 他 们 为 本 书 提 供 了 率直 坦诚 的 反 
馈 。 最 后 ， 要 特别 感谢 Pat Copeland， 是 他 将 来 自 五 湖 四 海 且 充满 激情 
的 各 路 精英 汇集 于 此 ， 并 投 喘 于 质量 方面 的 不 断 改 进 工作 。 
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Alberto Savoia 
谷歌 工程 总 监 

为 一 本 你 曾经 想 自 己 去 撰写 的 书 去 做 序 ， 是 一 种 尴 榨 的 荣誉 ， 这 种 
感觉 有 点 像 你 被 邀请 去 为 好 友 做 伴 即 ， 但 新 女 却 是 你 曾经 心爱 的 寻 女 。 
但 是 James Wohittaker 却 是 一 个 聪明 的 家 伙 ， 在 他 问 我 是 否 愿意 为 这 本 书 
写 序 之 前 ， 先 请 我 吃 了 一 顿 我 非常 喜欢 的 墨西哥 晚餐 ， 并 让 我 喝 了 几 杯 
= PU a}Dos Equis 啤 酒 。 当 我 还 沉浸 在 牛 油 果 桨 市 来 的 愉悦 时 ， 他 终于 提 
出 了 这 个 请 求 ， 在 当时 那 种 气氛 下 ， 我 只 能 强 作 欢颜 并 答应 了 他 :“ 没 
有 问题 。” 他 的 诡计 “得 有 适 > 了， 他 和 他 的 “新 娘 盖 一 这 本 书 ， 一 起 站 在 
一 边 ， 而 我 却 不 得 不 在 这 里 为 他 们 的 婚礼 做 致辞 。 

正如 我 说 过 的 ， 他 是 一 个 聪明 的 家 伙 。 

让 我 继续 写 这 篇 序 吧 ， 为 这 本 我 曾 想 自己 写 的 书 。 

这 个 世界 上 真 的 还 需要 男 外 一 本 关于 软件 测试 的 书 吗 ? 特别 是 
James Whittaker， 这 个 高 产 的 家 伙 ， 一 个 我 曾经 不 止 一 次 公开 地 称 其 为 
测试 书籍 出 版 界 高 产 的 * 八 胞 胎 妈 妈 ” (译注 : AN RE NBI 05 
(Octomom) ”是 什么 意思 ? Google 一 下 你 就 知道 ) ， 还 需要 他 的 这 人 么 
一 本 软件 测试 书 吗 ? 那 种 讲述 陈旧 得 令 人 厌烦 的 测试 方法 学 和 宣扬 一 些 
可 疑 、 过 时 的 建议 的 书 还 少 吗 ? 是 的 ， 这 样 的 书 已 经 足够 多 了 ， 但 我 认 
为 这 本 书 绝 非 如 此 。 这 也 是 我 想 自 己 去 写 它 的 原因 ， 这 个 世界 很 需要 这 
样 一 本 独特 的 测试 书 。 

互联 网 的 出 现 急 剧 地 改变 了 许多 软件 设计 、 开 发 和 发 布 的 方式 。 很 

















多 曾经 红 极 一 时 的 测试 书籍 里 提 及 的 最 佳 测试 实践 ， 在 当前 的 环境 下 效 
率 会 大 大 下 降 ， 或 者 时 无 效果 ， 甚 而 在 某 些 情况 下 会 事与愿违 地 起 反 作 
用 。 在 互联 网 和 软件 产业 ， 一 切 变化 都 如 此 迅速 ， 以 至 于 许多 最 近 几 年 
才 出 版 的 软件 测试 方面 的 书籍 都 已 陈腐 过 时 ， 打 个 比方 ， 它 们 就 像 讲述 
水 竖 吸 血 和 开 颅 驱赶 亚 鬼 的 外 科 手 术 书 一 样 。 对 付 这 种 书 ， 最 好 的 办 法 
就 是 直接 把 它们 扔 挤 ， 或 者 做 些 有 益 的 事情 ， 例 如 ， 循 环 再 利用 ， 做 出 
纸尿裤 来 ， 以 防止 流落 到 容易 上 当 受 骗 的 人 之 手 。 

考虑 到 软件 产业 的 发 展 速度 如 此 之 快 ， 如 果 说 十 年 后 这 本 书 也 过 和 气 
了 ， 那 一 点 儿 也 不 奇怪 。 但 在 下 次 浪潮 来 临 之 前 ， 这 本 书 可 以 既 适 时 又 
适用 地 从 内 部 视角 告诉 你 这 个 世界 上 最 成 功 、 增 长 速度 最 快 的 互联 网 公 
司 之 一 ， 是 如 何 应 对 21 世纪 软件 测试 的 独特 挑战 的 。James Whittaker 和 
他 的 伙伴 们 ， 抓 住 了 Google 如 何 做 测试 的 本 质 ， 抓 住 了 Google 如 何 测试 
我 们 这 个 时 代 最 复杂 和 流行 软件 的 精华 。 我 之 所 以 了 解 这 些 ， 是 因为 我 
从 头 到 尾 经 历 了 这 个 伟大 的 转变 。 

我 于 2001 年 以 工程 总 监 的 吴 份 加 入 Google。 当 时 ，Google 大 概 有 
200 名 开发 人 员 ， 但 只 有 区 区 3 位 测试 人 员 ! 那个 时 候 ， 开 发 人 员 已 经 开 
始 做 自己 代码 的 测试 了 ， 但 由 于 测试 驱动 开发 的 模式 才刚 刚 开 始 ， 而 且 
像 JUnit 这 样 的 测试 框架 也 没有 大 规模 使 用 。 当 时 的 测试 主要 是 在 做 一 
些 随 机 测试 (ad-hoc testing，〉， 其 好 坏 取决 于 编写 代码 的 开发 者 的 责任 
心 。 但 即使 那样 也 是 可 以 接受 的 ， 因 为 ， 当 时 正 处 在 创业 阶段 ， 必 须 快 
速 前 进 并 勇于 冒险 ， 否 则 就 无 法 和 那个 时 代 已 经 非常 强大 的 对 手 苋 争 。 

然而 ， 当 Google 逐 渐 成 长 变 大 ，Google 的 一 些 产 品 对 于 最 终 用 户 和 
客户 来 说 开始 变 得 至 关 重 要 〈 人 例如， 竞价 广告 产品 ， 我 曾经 负责 的 产 
品 ， 很 快 变 成 许多 网 站 的 主要 收入 来 源 ) ， 我 们 清晰 地 认识 到 必须 加 大 
对 测试 的 关注 和 投入 。 但 只 有 3 个 测试 工程 师 ， 别 无 选择 ， 只 能 让 开发 
来 做 更 多 的 测试 。 与 其 他 的 几 个 Googler (译注 : Google 员 工 ， 本 书 中 
一 般 指 Google 工 程 师 ) 一 起 ， 我 们 介绍 、 培 训 、 推 行 单 元 测试 ， 我 们 鼓 


























励 开 及 人 员 把 测试 作为 优先 级 较 高 的 事 去 做 ， 并 建议 使 用 一 些 工 具 ， 如 
JUnit， 把 测试 做 成 自动 化 的 。 但 是 进展 缓慢 ， 并 非 所 有 的 人 都 接受 、 认 
同 开发 人 员 去 做 测试 这 件 事 情 。 为 了 继续 保持 这 个 势头 ， 在 每 周 五 下 午 
公司 的 啤酒 狂欢 时 (译注 : TGIF, Thank God It’s Friday，Google 在 每 周 
五 下 午 举 行 全 员 聚 会 )， 我 们 为 一 些 做 测试 的 开发 人 员 颁 发 奖品 来 激励 
大 家 。 但 这 种 感觉 不 是 很 好 ， 有 点 像 杂 技 训 兽 师 在 小 狗 完 成 某 个 动作 后 
给 一 些 奖 励 一 样 ， 但 这 样 至 少 还 是 把 大 家 的 注意 力 吸 引 到 测试 上 了 。 会 
如 此 幸运 吗 ? 如 此 简单 就 可 以 让 开发 做 测试 了 ? 

很 不 泣 的 是 这 招 根本 不 管用 。 开 发 人 员 发 现 ， 为 了 测试 充分 ， 他 们 
不 得 不 针对 每 一 行 功能 代码 ， 写 两 到 三 行 的 单元 测试 代码 ， 而 且 这 些 测 
试 代码 和 功能 代码 一 样 都 需要 维护 ， 且 有 着 相同 的 出 错 概率 。 而 且 大 家 
也 意识 到 ， 仅 做 单元 测试 是 不 够 的 ， 仍 然 需 要 集成 测试 、 系 统 测试 、 用 
户 界 面 等 方面 的 测试 。 当 真正 开始 要 去 做 测试 的 时 候 ， 会 发 现 测试 工作 
量变 得 非常 大 《〈 且 需要 很 多 知识 的 学 习 ) ， 并 要 求 在 很 短 的 时 间 内 完成 
测试 ， 要 以 “迅雷 不 及 掩 耳 ” 之 势 完 成 。 

我 们 为 什么 要 在 很 短 的 时 间 内 迅速 地 完成 测试 呢 ? ”我 一 直 这 么 认 
为 ， 对 于 一 个 坏 点 子 或 考虑 欠 周 的 产品 ， 即 便 再 多 的 测试 ， 也 无 法 把 它 
变 成 一 个 成 功 的 产品 。 但 如 果 测 试 方法 不 当 ， 却 会 扼杀 一 个 本 来 有 机 会 
成 功 的 产品 或 公司 ， 至 少 会 拖 慢 这 个 产品 的 速度 ， 让 竞争 对 手 有 机 可 
乘 。Google 当 时 正 处 于 这 样 的 紧要 关头 ， 测 试 已 经 成 为 Google 持 续 成 功 
道路 上 的 最 大 障碍 。 此 时 ， 我 们 需要 正确 的 测试 策略 来 满足 产品 、 用 户 
和 员工 快速 增长 的 需要 ， 不 拖 慢 公司 前 进 的 步伐 。 这 样 的 测试 策略 会 涉 
及 大 量 的 创新 性 方法 、 非 常规 的 解决 方案 和 独特 的 工具 。 当 然 ， 并 非 所 
有 的 策略 都 生效 了 ， 但 在 这 个 过 程 中 ， 我 们 得 到 了 宝 贯 的 经 验 和 教训 ， 
这 对 于 其 他 像 Google 一 样 快速 成 长 的 公司 来 说 也 是 非常 有 帮助 的 。 我 们 
学 会 了 如 何在 保持 正常 的 开发 速度 的 同时 ， 让 大 家 充分 意识 到 质量 的 重 
要 性 。 本 书 将 要 讲述 的 ， 正 是 这 个 过 程 中 我 们 的 所 作 所 为 、 所 思 所 想 。 












































如 果 你 想 要 理解 Google 是 如 何 面 对 21 世 纪 最 新 的 互联 网 、 移 动 和 客户 端 
应 用 等 方面 的 测试 挑战 的 ， 读 这 本 书 就 对 了 。 我 本 想 自 己 为 大 家 讲述 整 
个 故事 ， 但 James Whittaker 和 他 的 伙伴 却 抢先 了 一 步 ， 他 们 已 经 摸索 出 
了 Google 测 试 的 精髓 。 

关于 这 本 书 ， 最 后 要 说 明 一 点 : 是 James Whittaker 造 就 了 这 本 书 。 
他 加 入 Google， 深 入 了 解 了 Google 的 文化 ， 参 与 了 重要 的 项 目 ， 并 发 布 
了 Chrome、Chrome OS 和 其 他 许多 产品 。 有 一 段 时 间 ， 他 变 成 了 Google 
测试 的 代言 人 。 但 是 ， 这 本 书 与 他 曾经 出 版 过 的 其 他 书籍 略 有 不 同 ， 里 
面 的 很 多 素材 都 不 是 来 自 于 他 个 人 。 他 本 人 在 Google 测 试 演化 过 程 中 的 
角色 ， 更 像 是 一 个 描绘 记录 者 ， 而 不 是 一 个 参与 贡献 者 。 在 你 阅读 这 本 
书 时 ， 一 定 要 把 这 一 点 铭记 于 心 ， 因 为 James Whittaker 很 有 可 能 会 把 所 
有 的 功劳 都 归功 于 他 自己 。 

在 Google 由 200 人 变 成 2 万 人 的 过 程 中 ， 有 许多 人 在 我 们 的 测试 战略 
的 形成 和 实施 中 做 出 了 杰出 贡献 。James Whittaker 肯 定 了 他 们 的 贡献 ， 
在 本 书 中 以 访谈 的 形式 将 他 们 引入 书 中 。 然 而 没有 一 个 人 人， 包括 我、 
James Whittaker， 或 者 本 书 中 提 到 的 其 他 任何 人 的 影响 力 ， 比 得 上 
Patrick Copeland， 他 是 我 们 今天 组 织 结构 的 架构 师 和 Google 工 程 生产 力 
部 门 的 负责 人 ， 上 所 有 Google 的 测试 人 员 最 终 都 会 汇报 给 Patrick。 作 为 执 
行 官 ， 他 以 自己 的 想象 力 创 造 了 James Whittaker 在 本 书 中 描述 和 贡献 的 
一 切 。 如 果 非 要 把 Google 今 天 的 测试 成 就 归功 于 某 人 ， 那 这 个 人 一 定 是 
Patrick。 我 这 么 说 的 原因 不 仅 在 于 他 是 我 的 老板 ， 而 且 还 在 于 ， 作 为 我 
的 老板 ， 是 他 命令 我 这 么 说 的 ! 

Alberto Savoia 是 Google 的 工程 总 监 ， 同 时 也 是 一 位 创新 鼓动 者 。 
Alberto 于 2001 年 加 入 Google， 那 个 时 候 主 要 负责 AdWords 产 品 的 发 布 ， 
同时 他 也 是 Google“ 开 发 者 /单元 测试 ”这 一 文化 的 主要 缔造 者 。 他 还 是 

(The Way of Testivus》 的 作者 ， 以 及 OReilly 出 版 的 《Beautiful Code) 
一 书 中 “Beautiful Tests” 一 章 的 作者 。 

















来 自 James Whittaker (iil: 我 完全 同意 Alberto 所 说 的 一 切 。 作 
为 这 一 过 程 的 描绘 记录 者 ， 绝 大 多 数 的 材料 都 归功 于 Patrick 创 建 的 这 个 
测试 团队 。 还 有 ， 我 这 么 说 并 不 仅 是 因为 Patrick 授 权 我 写 这 本 书 。 作 为 
我 的 老板 ， 是 Patrick 命 令 我 写 了 这 本 书 。 


FF 


Patrick Copeland 
谷歌 测试 和 部 罗技 术 的 染 构 师 

我 在 Google 的 旅程 始 于 2005 年 3 月 。Alberto 在 前 面 的 序 中 也 介绍 了 
一 些 当 时 Google 的 状况 : 虽然 公司 规模 还 比较 小 ， 但 已 开始 感受 到 成 长 
带 来 的 烦恼 。 当 时 适 着 快速 的 技术 变 草 之 际 ，Web 世 界 正 在 迎接 动态 内 
容 的 到 来 ， 而 云 计算 也 正在 逐渐 成 为 一 种 新 的 选择 ， 取 代 当 时 还 占 统治 
地 位 的 客户 机 -服务 器 架构 。 

在 加 入 Google 的 第 一 周 里 ， 我 和 其 他 Nooglers (译注 : New 
Googler， 新 加 入 Google 的 员工 ) 一 起 ， 戴 着 三 色 的 螺旋 桨 帽 ， 参 加 了 
称 为 TGIF 的 公司 每 周 例会 ， 听 创始 人 介绍 公司 战略 。 我 对 彼 时 的 工作 
情形 还 知之 其 少 ， 有 些 兴 奋 ， 也 有 些 害 怕 。 在 我 之 前 10 年 的 研发 模式 经 
历 中 ， 一 个 典型 的 交付 周期 可 长 达 5 年 ， 这 种 经 历 在 Google 的 速度 和 规 
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子 的 人 中 唯一 的 测试 人 员 。 当 然 ， 其 他 地 方 一 定 还 有 更 多 的 测试 人 员 ! 

我 加 入 Google 的 时 候 ， 工 程 团队 还 不 足 1000 人 。 测 试 团队 大 概 有 50 
名 全 职 人 员 和 一 些 临 时 工 ， 具 体 数 量 我 一 直 没 搞 清楚 。 测 试 团队 当时 的 
称谓 是 “测试 服务 ”， 工 作 重 点 在 UI 的 验证 上 ， 随 时 啊 应 不 同 项 目的 测试 
需求 。 可 以 想象 ， 这 并 不 是 Google 最 内 潍 的 团队 。 

但 这 在 当时 已 经 足够 了 。Google 当 时 的 主要 业务 是 搜索 和 广告 ， 规 
模 要 比 今天 小 得 多 ， 一 次 彻底 的 探索 式 测试 足以 发 现 绝 大 多 数 的 质量 问 
题 。 然 而 ， 世 界 在 变 ，Web 点 击 量 开 始 史无前例 地 爆发 性 增长 ， 文 档 化 




















的 Web 正 在 让 位 于 应 用 化 的 Web。 你 可 以 感觉 到 势不可挡 的 成 长 和 变 
化 ， 在 这 种 情况 下 ， 规 模 化 和 快速 进入 市 场 的 能 力 变 得 至 关 重 要 和 生死 
WR 

在 Google 内 部 ， 规 模 和 问题 的 复杂 性 给 测试 服务 团队 带 来 了 巨大 的 
压力 。 在 之 前 小 型 的 、 类 同 的 项 目 里 的 一 些 可 行 做 法 ， 现 在 却 让 优秀 的 
测试 人 员 感 到 筋疲力尽 ， 疫 于 奔 命 在 多 个 急需 救火 的 项 目 之 间 。 更 加 火 
上 浇 油 的 是 ，Google 在 项 目 快速 友 布 方面 的 坚持 。 是 时 候 采 取 措 施 了 ， 
我 面临 两 个 选择 ， 要 么 沿用 这 种 苑 动 密集 型 的 流程 增加 更 多 的 人 手 ， 要 
么 改变 整个 游戏 规划。 为 了 适应 业界 和 Google 发 生 的 巨变 ， 测 试 服务 团 
队 需 要 根本 性 的 变革 。 

我 也 很 想 说 自己 是 借助 于 丰富 的 经 验 构思 出 了 完美 的 测试 组 织 模 
型 ， 但 实事 求 是 地 讲 ， 我 从 过 去 的 经 历 中 ， 学 到 的 只 不 过 是 一 些 过 时 的 
做 法 。 我 所 工作 或 领导 过 的 每 个 测试 组 织 都 有 这 样 或 那样 的 问题 。 有 问 
题 是 常态 ， 代 码 质量 很 糟糕 ， 测 试用 例 很 差劲 ， 团 队 也 问题 多 多 。 我 完 
全 清楚 那 种 被 技术 质量 债 压 得 跨 不 过 气 来 的 感受 ， 在 那 种 状态 下 ， 一 切 
创新 性 的 想法 都 会 被 过 制 ， 以 免 不 小 心 破坏 了 脆弱 的 产品 。 如 果 说 我 在 
以 往 的 经 历 中 有 所 收获 的 话 ， 那 就 是 经 历 了 各 种 错误 的 测试 实践 。 

那个 时 候 ， 以 我 对 Google 的 了 解 ， 有 一 件 事情 是 确定 无 疑 的 ， 那 就 
是 Google 对 于 计算 机 科学 和 编程 能 力 非 常 重视 。 从 根本 上 说 ， 如 果 测 试 

员 想 加 入 这 个 俱乐部 ， 束 必须 具备 民 好 的 计算 机 科学 基础 和 编程 能 
JJ. 

变 音 Google 测试 的 首要 问题 是 重新 定位 号 为 测试 人 员 的 意义 所 在 。 
我 过 去 经 常 在 涉 脑 中 想象 理想 团队 的 模型 ， 想 象 这 样 的 团队 是 如 何 屑 负 
起 质量 重任 的 ， 每 次 我 都 会 得 到 相同 的 结论 : 一 个 团队 能 编写 出 高 质量 
软件 的 唯一 途径 是 全 体 成 员 共 同 对 质量 负责 ， 包 括 产品 经 理 、 开 发 人 
员 、 测 试 人 员 等 所 有 人 。 我 认为 ， 达 到 此 目标 的 最 好 方式 是 使 测试 人 员 
有 能 力 将 测试 变 成 代码 库 的 一 个 实际 功能 ， 而 测试 功能 的 地 位 应 该 与 真 















































实 客户 看 到 的 任何 其 他 功能 同等 重要 。 我 所 需要 的 能 够 实现 测试 功能 的 
技能 ， 也 正 是 开发 人 员 需 要 具备 的 技能 。 

招聘 具备 开发 能 力 的 测试 人 员 很 难 ， 找 到 懂 测 试 的 开发 人 员 就 更 
难 ， 但 是 维持 现状 更 要 命 ， 我 只 能 往 前 走 。 我 希望 测试 人 员 能 为 他 们 的 
产品 做 更 多 的 事情 ， 同 时 ， 我 希望 演变 测试 工作 的 性 质 和 从 属 ， 要 求 开 
发 团队 更 大 地 投入 。 这 种 组 织 结构 在 当时 的 业界 尚未 实现 ， 但 我 坚信 它 
非常 适合 Google， 我 相信 在 这 家 公司 ， 时 机 到 了 。 

不 幸 的 是 ， 这 种 如 此 深刻 、 根 本 性 的 变革 在 公司 里 极度 缺乏 认同 ， 
极 少 有 人 能 分 享 我 的 激情 。 当 我 开始 推销 这 种 关于 软件 测试 角色 的 地 位 
平等 而 作用 不 同 的 愿景 时 ， 我 及 现 竟然 难以 找到 一 个 人 一 起 共享 午餐 ! 
开发 工程 师 们 好 像 被 他 们 将 要 在 测试 上 发 挥 更 大 的 作用 这 个 想法 吓 着 
了 ， 他 们 指出 “这 是 测试 人 员 的 职责 ”。 而 测试 人 员 也 不 买账 ， 因 为 很 多 
人 已 经 习惯 了 当前 的 角色 ， 维 持 现 状 的 惯性 导致 任何 变革 都 变 得 非常 困 
难 。 

我 坚 不 松懈 地 继续 努力 着 ， 主 要 是 出 于 对 Google 的 研发 过 程 深 陷 技 
术 和 质量 债 的 困境 的 恐惧 ， 一 旦 如 此 ， 长 达 5 年 的 开发 周期 又 会 成 为 现 
实 ， 而 我 本 来 已 经 很 高 兴 地 把 它们 留 在 客户 机 -服务 器 的 世界 里 了 。 
Google 是 一 家 由 天 才 组 成 的 公司 ， 以 创新 为 灵魂 ， 这 种 企业 文化 与 元 长 
的 开发 周期 是 不 相 容 的 。 这 是 一 场 值得 打 的 战斗 ， 我 说 服 上 自己 ， 一 旦 这 
些 天 才 理 解 了 这 种 由 在 打造 一 个 生产 线 式 的 、 可 重复 的 “技术 工厂 ”的 开 
发 和 测试 实践 ”， 他 们 就 会 改变 看 法 。 他 们 就 会 理解 我 们 不 再 是 一 个 初 
创 公 司 ， 快 速成 长 的 用 户 群 、 不 断 累 积 的 bug 和 糟糕 结构 的 代码 形成 的 
技术 俩 将 会 叶 致 开 友 过 程 的 朋 江 。 

我 逐个 接触 各 产品 团队 ， 寻 找 优秀 的 案例 ， 试 图 为 我 的 立论 找到 比 
较 容 易 的 切入 点 。 在 开 发 人 员 面 前 ， 我 描绘 了 一 个 持续 构建 、 快 速 部 嗜 
的 蓝图 ， 一 个 行动 敏捷 、 省 下 更 多 时 间 用 于 创新 的 开发 过 程 ， 在 测试 人 
员 面 前 ， 我 激发 他 们 对 于 成 为 同等 技能 、 同 等 页 献 和 同等 薪酬 的 完全 的 





工程 合作 伙伴 的 淘 望 。 

开发 人 员 的 态度 是 ， 如 果 我 们 招聘 到 有 人 能力 做 功能 开发 的 人 ， 那 
么 ， 我 们 应 当 让 他 们 做 功能 开发 。 其 中 一 些 人 对 我 的 想法 非常 反感 ， 甚 
至 发 信 给 我 的 主管 ， 非 党 直率 地 建议 如 何 来 处 理 我 的 狗 狂 之 举 ， 这 些 信 
守 满 了 我 的 主管 的 邮箱 。 驻 和 运 的 是 ， 我 的 主管 并 没有 采纳 那些 建议 。 

令 我 吃惊 的 是 ， 测 试 人 员 的 反应 竟然 与 开发 人 员 类 似 。 他 们 沉 洒 于 
老 的 做 事 方 式 ， 抱 怨 自 己 在 开发 面前 的 地 位 ， 但 又 不 想 去 改变 。 

我 的 主管 对 这 些 抱 人 息 只 有 一 句 话 :“ 这 里 是 Google， 如 果 你 有 和 想 
法 ， 尽 管 去 做 就 是 。” 

于 是 我 开始 付 诸 行动 。 我 召集 了 一 批 志同道合 的 骨干 分 子 ， 组 成 了 
一 个 面试 团队 ， 开 始 招 聘 。 事 情 进 行 得 比较 艰难 ， 我 们 寻找 的 人 要 莱 具 
开发 人 员 的 技能 和 测试 人 员 的 思维 ， 他 们 必须 会 编程 ， 能 实现 工具 、 平 
台 和 测试 自动 化 。 我 们 必须 对 招聘 和 面试 的 标准 与 流程 做 出 一 些 调整 ， 
并 癌 已 经 习惯 了 既 有 模式 的 招聘 委员 会 做 出 合理 解释 。 

最 初 的 几 个 季度 进行 得 异常 艰难 。 好 的 候选 人 经 常 在 面试 过 程 中 失 
利 ， 也 许 是 因为 他 们 没 能 很 快 地 解决 一 些 奇怪 的 编程 问题 ， 或 是 在 某 些 
人 认为 很 重要 的 方面 表现 得 不 够 好 【〈 然 而 这 些 方面 其 实 与 测试 技能 坚 不 
相干) 。 我 预料 到 了 招聘 过 程 的 困难 ， 每 周 都 要 抽出 大 量 时 间 写 辩 词 。 
这 些 辩 词 最 终 会 到 达 Google 联 合 创 始 人 Larry Page 手 里 (他 一 直 是 招聘 
的 最 终 批 准 者 ) 。 他 批准 了 足够 多 的 候选 人 ， 我 的 团队 开始 稳步 增长 。 
直到 现在 ， 我 猪 每 次 ” Larry 听 到 我 的 名 字 时 想到 的 一 定 是 :“ 招 聘 测试 
Bj! 

当然 ， 到 这 个 时 候 ， 我 已 经 做 了 大 量 的 宣传 和 惑 动 工作 ， 来 说 服 大 
家 这 是 唯一 的 选择 。 整 个 公司 都 在 看 着 我 们 ， 一旦 失败 ， 后 果 将 是 灾难 
性 的 。 对 于 一 个 混合 了 很 多 不 断 变化 的 外 包 人 员 和 临时 人 员 的 小 测试 团 
队 而 言 ， 期 望 显 得 如 此 之 高 。 然 而 ， 即 使 是 在 我 们 艰难 的 招聘 进行 中 同 
时 减少 了 临时 人 员 的 数量 时 ， 我 已 经 注意 到 了 变化 在 发 生 。 测 试 资源 越 


















































稀缺 ， 给 开发 人 员 留 下 的 测试 工作 就 越 多 。 很 多 团队 都 勇敢 地 接受 了 挑 
战 。 我 感觉 ， 如 果 技 术 保 持 不 变 的 话 ， 这 个 时 候 的 状态 已 经 在 接近 我 们 
的 目标 了 。 

然而 ， 技 术 不 是 静止 不 动 的 ， 开 发 和 测试 实践 处 于 飞速 的 变化 之 
中 。 静 态 Web 应 用 的 时 代 已 经 成 为 过 去 ， 浏 览 器 还 在 努力 退 赶 之 中 ， 围 
组 浏 览 器 的 自动 化 技术 比 已 经 迟缓 的 浏览 句 还 要 落后 一 年 。 开 发 人 员 正 
面临 着 巨大 的 技术 变革 ， 在 这 个 时 候 ， 把 测试 交 给 开发 人 员 ， 这 看 上 去 
是 徒劳 的 。 我 们 甚至 还 不 太 会 手工 测试 这 些 应 用 ， 更 不 用 提 自 动 化 测试 
Js 

开发 团队 身上 的 压力 也 同样 巨大 。 当 时 Google 开始 收购 拥有 富 含 动 
态 Web 应 用 的 公司 。YouTube、Google Docs 等 后 继 产品 的 融入 ， 延 展 了 
我 们 内 部 的 基础 设施 。 开 发 团队 在 编写 功能 代码 的 过 程 中 ， 要 面临 很 多 
问题 ， 与 我 们 测试 人 员 在 测试 过 程 中 要 面临 的 问题 一 样 ， 令 人 生长 ! 测 
试 人 员 面 对 的 测试 问题 无 法 孤立 地 解决 。 把 测试 和 开发 制 裂 开 来 ， 看 成 
两 个 单独 的 环节 ， 甚 至 是 两 类 截然 不 同 的 问题 ， 这 种 做 法 是 错误 的 ， 沿 
着 这 条 路 走 下 去 意味 着 什么 问题 也 解决 不 了 。 解 决 测试 团队 的 问题 ， 只 
是 我 们 前 进 路 上 的 其 中 一 步 而 已 。 

进展 在 继续 。 雇 佣 优 秀 的 人 是 一 件 很 有 意思 的 事情 ， 他 们 会 推动 进 
展 的 发 生 ! 到 了 2007 年 ， 测 试 团队 有 了 更 好 的 定位 。 我 们 能 够 很 好 地 处 
理发 布 周期 的 最 后 环节 。 开 发 团队 已 经 视 我 们 为 顺利 上 线 的 可 靠 合 作 伙 
伴 。 不 过 我 们 仍然 是 在 发 布 过 程 的 后 期 才 介 入 的 文 持 团队 ， 局 限于 传统 
QA 模型。 尽管 有 了 优秀 的 执行 能 力 ， 我 们 还 没 达到 我 设想 的 目标 。 我 
解决 了 招聘 方面 的 问题 ， 测 试 也 癌 着 正确 的 方向 发 展 ， 但 是 我 们 还 是 在 
整个 流程 中 介入 太 晚 。 

我 们 在 一 个 被 称 作 “测试 认证 ”《〈 本 书后 面 的 章节 会 详细 介绍 ) 的 事 
情 上 取得 了 不 少 进展 。 我 们 回 开 发 团队 提供 咨询 ， 帮 助 他 们 改善 代码 质 
量 并 尽早 进行 单元 测试 。 我 们 开发 工具 并 指导 团队 进行 持续 集成 ， 使 产 




















品 一 直 保 持 可 测试 的 状态 。 我 们 进行 了 无 数 的 改进 和 调整 ， 从 而 消除 了 
之 前 的 很 多 质疑 ， 本 书 详细 介绍 了 其 中 的 很 多 方法 。 但 是 ， 在 那个 时 
候 ， 还 是 感觉 缺乏 整体 感 ， 开 发 依旧 是 开发 ， 测 试 依旧 是 测试 。 虽 然 很 
多 文化 变革 的 因素 已 经 存在 ， 但 是 ， 我 们 还 需要 一 个 催化 剂 把 它们 聚合 
成 一 体 。 

自从 根据 我 的 想法 开始 招聘 担当 测试 角色 的 开发 人 员 以 来 ， 测 试 组 
织 在 不 断 壮大 。 基 于 对 这 个 团队 的 思考 ， 我 意识 到 测试 仅仅 是 我 们 所 负 
贡 的 工作 的 一 部 分 。 我 们 的 工具 团队 开发 了 从 源 代码 库 到 编译 框架 ， 再 
到 缺陷 数 据 库 的 各 种 工具 。 我 们 是 测 斌 工程师、 发 布 工程 师 、 工 具 开 发 
工程 师 和 咨询 师 。 触 动 我 的 是 ， 我 们 所 做 的 非 测 试 的 工作 对 生产 力 的 提 
升 产 生 了 巨大 的 影响 力 。 我 们 的 名 称 是 测试 服务 ， 但 是 我 们 的 职 贡 已 经 
远大 于 此 。 

因此 ， 我 决定 正式 把 团队 名 称 改 为 工程 生产 力 (Engineering 
Productivity) 团队 。 伴 随 着 称谓 的 改变 ， 随 之 而 来 的 是 文化 的 革新 。 人 
们 开始 更 多 地 谈论 生产 力 而 不 是 测试 和 质量 。 生 产 力 是 我 们 的 工作 ， 测 
试 和 质量 是 开发 过 程 里 每 个 人 都 要 承担 的 工作 。 这 意味 着 开发 人 员 负 责 
测试 ， 开 发 人 员 负 贡 质 量 。 生 产 力 团 队 负 员 帮 助 开 发 团队 搞定 这 两 项 任 
务 。 

开始 的 时 候 ， 这 个 观点 还 只 是 一 种 梦想 和 志和 问 ， 我 们 提出 的 “给 
Google 加 速 ? 的 口 亏 听 起 来 也 很 空洞 ， 但 是 ， 随 着 时 间 的 推移 和 我 们 的 
努力 ， 我 们 实现 了 这 些 诺言 。 我 们 的 工具 让 开发 的 动作 更 快 ， 我 们 帮助 
开 有 人 员 扫 清 了 一 个 又 一 个 障碍 ， 消 除了 一 个 又 一 个 瓶颈 。 我 们 的 工具 
还 使 开发 人 员 能 够 编写 测试 用 例 ， 并 在 每 次 构建 时 看 到 这 些 测 试 的 结果 
有 反馈。 测试 用例 不 再 只 是 阳 离 地 运行 在 某 些 测试 人 员 的 机 器 上 。 测 试 结 
果 会 在 仪表 盘 上 显示 ， 并 把 成 功 的 版 本 积 囚 下 来 ， 作 为 应 用 发 布 健康 性 
的 公开 数据 。 我 们 并 不 是 仅仅 要 求 开 发 人 员 对 测试 和 质量 负 贡 ， 我 们 还 
提供 帮助 让 他 们 可 以 轻松 地 达到 这 些 要 求 。 生 产 力 和 测试 的 区 别 最 终 变 


























成 了 现实 一 一 Google 的 创新 能 够 更 为 顺畅 ， 技 术 债 也 不 会 累积 

最 终结 果 如 何 呢 ? 我 可 不 愿 这 么 早 就 交 了 底 ， 因为 这 本 书 就 是 要 详 
细 讲 述 这 个 问题 的 。 作 者 们 花费 了 巨大 精力 ， 根 据 自身 和 其 他 Googler 
的 经 历 ， 把 我 们 的 秘诀 浓缩 成 了 一 套 核 心 实践 。 但 其 实 ， 我 们 的 成 功 有 
很 多 方面 ， 从 将 构建 次 数 以 数量 级 式 地 降低 ， 到 “ 跑 完 即 忘 * 式 的 测试 自 
动 化 ， Ls 在 我 写 这 篇 序 的 时 候 ， 生 产 
力 团队 已 经 拥有 1200 名 工程 师 ， 这 个 数量 比 我 在 2005 年 加 入 Google 时 整 
个 工程 部 门 的 工程 师 的 数量 还 要 多 。 生 产 力 品 牌 的 影响 力 已 经 相当 大 ， 
我 们 加 速 Google 的 使 命 已 经 作为 工程 文化 的 一 部 分 ， 被 广泛 接受 。 从 我 
困惑 、 迷 茫 地 坐 在 TGIF 会 议 上 的 第 一 天 到 现在 ， 这 个 团队 已 经 走 过 了 
漫长 的 征途 。 这 期 间 唯一 没 变 的 是 我 那 顶 三 色 螺 旋 浆 帽 ， 我 把 它 放 在 我 
的 桌 上 ， 作 为 我 们 一 路 走 来 的 见证 。 
































Patrick Copeland 是 Google 工 程 生产 力 部 门 的 高 级 总 监 ， 处 于 
Google 整 个 测试 链 的 最 顶端 。 公 司 里 所 有 的 测试 人 员 都 最 终 汇报 给 
Patrick 《而 他 恰好 跨 级 汇报 给 Larry “Page，Google 的 联合 创始 人 和 
CEO) 。Patrick 加 入 Google 之 前 是 微软 的 测试 总 监 ， 并 在 那里 工作 
了 近 10 年 。 他 经 常 公开 演讲 ， 在 Google 内 部 被 公认 为 Google 软 件 快 
速 开 上 肥 、 测 试 和 部 署 技术 的 架构 师 。 


软件 开发 并 不 简单 ， 测 试 也 一 样 。 谈 及 整个 Web 规 模 的 开发 和 测 
试 ， 一 定 会 提 到 Google。 如 果 你 对 这 家 互联 网 上 最 有 名 气 的 公司 是 如 何 
进行 如 此 大 规模 的 测试 感 兴趣 的 话 ， 那 么 这 本 书 将 非常 适合 你 。 

每 天 ，Google 测 试 和 发 布 数 百 万 个 源 文件 、 亿 万 行 的 代码 。 数 以 亿 
计 的 构建 动作 会 触发 几 百 万 自动 化 测试 在 几 十 万 个 浏览 器 实例 上 执行 。 
操作 系统 按 年 构建 、 测 试 和 发 布 ， 浏 览 器 的 构建 每 天 都 在 进行 ，Web 应 
用 基本 达到 持续 发 布 。2011 年 ，Google+ 在 100 天 之 内 发 布 了 100 个 功 
能 。 

这 就 是 Google 规 模 和 Google 速 度 一 一 正 是 web 本 号 的 规模 一 一 这 如 
是 本 书 描述 的 测试 解决 方案 。 我 们 会 揭示 这 个 架构 是 如 何 设计 、 实 现 和 
运行 的 ， 介 绍 在 概念 和 实现 阶段 都 发 挥 了 重大 作用 的 许多 人 士 ， 解 释 使 
之 成 功 的 基础 架构 。 

但 之 前 也 并 非 如 此 。Google 走 到 今天 的 路 线 与 我 们 的 测试 技术 一 样 
有 趣 。 回 到 6 年 以 前 ，Google 的 情况 与 我 们 之 前 工作 的 那些 公司 非常 类 
似 ， 测 试 是 主流 之 外 的 领域 ， 测 试 人 员 不 受 重视 、 加 班 加 点 ， 测 试 主要 
是 一 个 手工 的 过 程 ， 那 些 善 于 自动 化 的 人 很 快 就 被 开发 拉 走 了 ， 因 为 做 
开发 影响 力 会 更 大 。 在 Google 被 称 为 “工程 生产 力 ”* 部 门 的 莫 基 者 们 必须 
殉 服 对 测试 的 偏见 ， 以 及 那 种 推崇 个 人 英雄 主义 而 轻视 工程 严谨 性 的 公 
司 文化 。 今 天 ，Google 的 测试 人 员 与 开发 人 员 同 工 同 酬 ， 奖 金 、 晋 升 待 
遇 完 全 一 样 。 测 试 人 员 取 得 成 功 ， 以 及 这 种 文化 能 够 经 受 公司 巨大 成 长 
(产品 、 多 样 性 和 营 收 ) 和 结构 重组 带 来 的 实际 考验 ， 对 于 那些 跟随 




















Google 足 迹 的 公司 来 说， 是 非常 振奋 人 心 的。 测试 是 在 做 正确 的 事情 ， 
是 可 以 被 产品 团队 和 公司 的 管理 层 认 可 的 。 

随 着 越 来 越 多 的 公司 在 Web 领 域 淘金 ， 本 书 介 绍 的 测试 技术 和 组 织 
结构 可 能 会 变 得 更 加 普及 。 果 真如 此 的 话 ， 请 考虑 将 这 本 书 作 为 到 达 目 
标的 指南 。 

这 本 Google 测 试 指南 按照 所 涉及 的 角色 组 织 。 第 一 部 分 介绍 了 
Google 质 量 流程 的 所 有 角色 、 概 念 、 流 程 和 细节 ， 这 一 部 分 建议 必 读 。 

本 书 前 面 几 章 可 以 按 任 何 顺 序 阅 读 。 首 先 介 绍 了 SET (Software 
Engineer in Test， 即 软件 测试 开发 工程 师 ) 这 个 角色 ， 因 为 这 是 现代 化 
的 Google 测 试 的 起 点 。SET 是 技术 测试 人 员 ， 该 音 内 容 有 适度 的 技术 
性 ， 但 抽象 程度 足够 能 让 任何 人 理解 其 主要 概念 。 之 后 的 一 章 涵盖 了 另 
一 个 主要 的 测试 角色 一 一 TE (Test Engineer， 即 测试 工程 师 ) 。 该 章 内 
容 较 多 ， 因 为 TE 的 工作 非常 宽泛 ，Google 的 TE 在 产品 生命 周期 中 的 职 
责 很 广 。 这 个 角色 同样 为 许多 传统 的 测试 人 员 所 熟知 ， 我 们 猜测 这 会 是 
读者 最 多 的 一 章 ， 因 为 它 的 受众 面 最 大 。 

本 书 还 讲述 了 测试 管理 ， 以 及 与 Google 的 测试 历史 或 在 主要 产品 上 
发 挥 过 重要 作用 的 人 士 的 访谈 。 那 些 试图 建立 类 似 Google 的 测试 流程 或 
团队 的 人 ， 可 能 会 对 这 些 访 谈 感 兴趣 。 

任何 一 位 读者 都 千 万 不 要 错过 最 后 一 章 。James Whittaker 介 绍 了 他 
对 于 Google 测 试 如 何 继续 演进 的 见解 ， 并 对 Google 旋 至 整个 业界 的 测试 
方向 做 了 一 些 预言 。 我 们 相信 很 多 读者 会 感受 到 其 中 的 洞察 力 ， 甚 至 感 





第 1 音 Google 软 件 测 试 介绍 





在 许多 场合 下 ， 不 管 是 在 国外 访问 还 是 出 席 会 议 期 间 ， 我 总 是 坚 无 
例外 地 被 问 及 一 个 问题 。 甚 至 是 刚刚 加 入 公司 的 新 员工 也 会 问 到 同样 的 
问题 : “Google 是 如 何 测试 的 ? ” 

虽然 我 已 经 不 太 确 定 曾 经 多 少 次 回答 过 这 个 问题 ， 以 及 给 出 了 多 少 
个 不 同 版 本 的 答案 ， 但 可 以 确定 的 是 ， 随 着 我 在 Google 工 作 的 时 间 越 来 
越 长 ， 发 现 Google 的 各 种 测试 实践 的 不 同 之 处 也 越 来 越 多 ， 答 案 也 一 直 
在 变化 。 这 些 测试 实践 总 是 浮现 在 脑海 里 ， 并 弥 想 着 有 朝 一 日 能 够 将 它 
们 整理 成 书 。 直 到 有 一 天 ，Alberto (译注 : Alberto Savoia，Google 的 测 
试 总 监 ， 详 细 介 绍 参见 本 书 序言 中 的 Alberto 部 分 ) ， 这 个 一 贯 认为 所 有 
测试 相关 的 书籍 都 要 为 自己 的 存在 找 一 个 理由 ， 人 否则 就 应 该 被 扔 掉 做 成 
纸尿裤 的 人 ， 当 他 建议 我 应 该 号 这 样 一 本 书 的 时 候 ， 我 觉得 时 机 已 经 成 
熟 ， 是 时 候 开 始 考 虑 写 这 样 一 本 书 了 。 

然而 ， 我 依旧 还 在 等 待 。 第 一 ， 我 并 非 是 号 这 样 一 本 书 的 最 佳人 
选 。 在 Google， 有 很 多 我 的 前 辜 ， 我 想 先 把 机 会 让 给 他 们 来 写 ; 第 二 ， 
我 只 是 Chrome 和 Chrome OS 产品 的 测试 总 监 ( 现 在 这 个 职位 被 我 之 前 的 
一 个 下 属 担任 着 ) ， 我 看 到 的 也 只 是 Google 所 有 测试 实践 中 很 小 的 一 
部 分 ， 我 还 需要 去 了 解 很 多 其 他 Google 产 品 的 测试 方法 。 

在 Google， 软 件 测试 团队 归属 于 一 个 被 称 为 “工程 生产 力 ”( 译 注 : 
Engineering Productivity， 也 译 为 工程 效率 或 工程 生产 率 ) 的 中 心 组 织 肖 
门 ， 这 个 部 门 的 职员 横 跨 开 发 测试 人 员 使 用 工具 的 研发 、 产 品 发 布 和 各 
种 级 别 的 测试 ， 从 单元 级 别 的 测试 到 探索 性 级 别 的 测试 。Google 拥 有 大 














量 针 对 互联 网 产品 的 共享 工具 与 测试 基础 框架 ， 服 务 于 包括 搜索 、 广 
告 、Apps、YouTube 视 频 和 其 他 我 们 在 Web 上 提供 的 产品 。Google 已 经 
成 功 解决 了 许多 有 关 速 度 和 扩展 性 方面 的 问题 ， 使 得 Google 作 为 一 个 大 
公司 ， 却 依然 能 以 创业 公司 的 速度 来 发 布 产 品 。 正 如 Patrick Copeland 在 
本 书 的 序言 中 所 说 的 那样 ， 拥 有 如 此 的 魔力 ，Google 的 测试 团队 功 不 可 
ix. 

注意 

在 Google， 软 件 测试 团队 归属 于 一 个 被 称 为 工程 生产 力 部 门 的 中 心 
组 织 的 部 门 。 

Chrome OS 在 2010 年 12 月 发 布 以 后 ， 我 把 团队 顺利 地 交接 给 我 的 一 
个 直接 汇报 者 ， 然 后 开始 把 上 自己 的 工作 重点 慢 慢 转移 到 其 他 产品 上 。 在 
这 本 书 刚 开始 准备 的 阶段 ， 我 使 用 博客 的 方式 做 了 一 些 尝 试 ， 发 布 了 第 
一 篇 "Google 是 如 何 测试 的 ”的 系列 文章 〈 注 : 参见 
http://googletesting.blogspot.com/2011/01/how-google-tests- 
software html) 。6 个 月 之 后 ， 本 书 终于 完成 ， 和 希望 没有 拖 太 长 的 时 间 。 
在 这 六 个 月 的 时 间 里 ， 我 了 解 到 的 Google 测 试 实践 比 我 过 去 两 年 在 
Google 学 到 的 都 要 多 。 现 在 有 了 这 本 书 ，Google 的 新 员工 们 也 可 以 通过 
阅读 此 书 来 熟悉 Google 的 环境 。 

这 并 不 是 第 一 本 介绍 关于 大 公司 是 如 何 做 测试 的 书籍 。 当 我 还 在 
Microsoft 的 时 候 ，Alan Page,BJ Rollison 和 Ken Johnston 合 车 了 《微软 的 
软件 测试 之 道 》 (PEGE: How We Test Software at Microsoft) ， 我 当时 
杀身 经 历 了 他 们 书 中 写 的 许多 事情 。Microsoft 在 测试 领域 独步 全 球 ， 也 
是 一 个 测试 精英 云集 的 圣地 。Microsoft 的 测试 工程 师 在 各 种 技术 大 会 中 
也 是 广 受 欢迎 的 演讲 嘉宾 。Microsoft 的 第 一 任 测试 总 监 Roger 
Sherman， 吸 引 了 来 自 全 球 的 测试 精 瑞 加 入 华盛顿 的 雷 德 蒙 德 ( 译 注 : 
微软 总 部 所 在 地 ) 。 那 是 一 个 软件 测试 的 黄金 时 代 。 

因此 ，Microsoft 写 了 这 样 一 本 书 来 记录 其 发 生 的 一 切 。 

















我 没 能 赶 上 参与 《微软 的 软件 测试 之 道 》 的 编写 ， 但 是 在 Google 却 
有 和 邓 得 到 这 样 的 机 会 。 我 来 Google 的 时 候 ， 其 测试 正 处 于 一 个 莹 勃发 展 
的 上 升 期 。 工 程 生产 力 团队 的 员工 数量 正 以 火 入 喷 友 般 的 速度 增长 ， 从 
几 百 人 迅 狐 发 展 到 今天 的 1200 人 。 正 如 Patrick 在 本 书 序言 中 所 说 的 那 
样 ， 这 种 增 速 随 之 而 来 的 是 成 长 的 烦恼 ， 这 也 是 他 们 最 后 的 阵痛 ， 此 后 
这 个 组 织 开 始 了 前 所 未 有 的 井喷 式 增 长 。Google 的 测试 博客 每 月 吸引 了 





成 千 上 万 的 人 来 浏览 阅读 ，GTAC GE: GTAC 是 Google Test 
Automation Conference 的 缩写 ， 即 Google 测 试 自 动 化 大 会 ， 参 见 


http://www.gtac.biz) 大 会 也 已 经 成 了 测试 行业 的 旗帜 性 会 议 。 在 我 来 到 
Google 不 久之 后 ，Patrick 也 得 到 了 普 升 ， 手 下 有 十 几 个 总 监 和 工程 经 理 
直接 汇报 给 他 。 如 有 果 你 认为 软件 测试 又 进入 到 新 的 文艺 复兴 时 期 ， 那 么 
Google 一 定 就 是 位 于 中 心 的 罗马 。 

这 意味 着 Google 背 后 的 测试 故事 其 实 可 以 写成 一 本 很 厚 的 书 。 但 问 
题 是 ， 我 并 不 想 这 样 做 。Google 之 所 以 闻名 于 世 ， 在 于 其 实现 软件 的 方 
法 : 简单 和 直截了当 。 或 许 这 本 书 也 可 以 保持 这 样 的 风格 。 

《Google 软 件 测 试 之 道 》 这 本 书 的 核心 内 容 包 括 : 详细 讲述 了 作为 
一 个 Google 的 测试 人 员 究竟 意 味 着 什么 ， 同 时 也 包含 Google 是 如 何 解雇 
软件 在 扩展 性 、 复 杂 性 和 大 并 发 方面 的 问题 。 如 果 想 知道 这 些 ， 阅 读本 
书 将 是 你 的 最 佳 获取 途径。 如 果 书 中 的 内 容 还 是 不 能 满足 你 想 要 充分 了 
解 Google 是 如 何 测 试 的 需求 ， 互 联网 上 还 有 更 多 的 信息 ， 你 只 需 
要 “Google 一 下 ”。 

关于 本 书 由 来 的 故事 ， 不 得 不 说 的 大 概 束 是 这 些 了 。 我 也 终于 做 好 
了 准备 来 讲述 Google 是 如 何 进 行 测试 的 。 随 大 越 来 越 多 的 软件 公司 从 时 
面 应 用 转 癌 网 络 应 用 ，Google 测 试 软 件 的 方法 也 很 有 可 能 成 为 其 他 公司 
的 榜样 。 如 果 你 已 经 读 了 《微软 测试 之 道 》， 那 么 干 万 不 要 试图 在 这 本 
书 中 找 一 些 共 同 点 。 除 了 两 本 书 的 作者 都 是 三 个 人 ， 且 都 是 在 讲述 大 型 
软件 公司 的 测试 实践 之 外 ， 这 两 本 书 中 所 摘 述 的 测试 方法 可 谓 大 相 径 

















注意 

书 中 关于 Google 的 测试 方法 ， 很 有 可 能 成 为 其 他 公司 竞相 模仿 的 榜 
样 ， 特 别 是 那些 从 加 面 应 用 转 同 网 络 应 用 的 公司 。 

Patrick ”Copeland 在 本 书 的 序言 中 解释 了 Google 测 试 方法 演变 的 历 
史 ， 随 着 公司 的 不 断 成 长 ， 它 也 在 不 停 地 、 有 组 织 地 进化 着 。Google 是 
个 大 和 熔炉， 许多 来 自 其 他 公司 的 工程 师 被 抛 进来 黎 炼 。 在 前 雇主 公司 使 
用 的 技术 ， 如 果 被 证 明 效率 低下 ， 该 技术 要 么 被 遗弃 ， 要 么 通过 Google 
的 创新 文化 再 进行 改良 。 随 着 测试 工程 师 队 伍 的 不 断 膨胀 ， 束 有 了 许多 
新 的 想法 和 实践 的 和 尝试， 那些 在 实践 中 被 证 明 很 有 用 的 技术 会 被 Google 
保留 下 来 ， 并 成 为 Google 的 一 部 分 ; 男 外 一 些 被 证 明 是 负担 的 ， 则 会 被 
抛弃 挥 。Google 的 测试 者 很 愿意 去 笠 试 新 技术， 但 有 些 技术 一 旦 被 发 现 
并 不 实用 ， 就 会 并 刻 被 抛弃 。 

Google 是 一 家 以 创新 和 速度 为 基础 的 公司 ， 快 速 地 发 布 有 用 的 代码 
《如 果 失 败 ， 也 只 有 少数 早期 用 户 会 失望 ) 、 友 代 地 增加 早期 用 户 和 希望 
使 用 的 功能 (最 大 化 用 户 反 馈 ) 。 在 这 样 的 环境 下 ， 测 试 不 得 不 变 的 异 
常 灵活 ， 并 且 在 技能 上 要 做 许多 前 期 的 规划 ， 只 是 不 停 地 简单 维护 并 不 
能 真正 解决 问题 。 有 时 ， 测 试 和 开发 互相 交织 在 一 起 ， 达 到 了 无 法 区 分 
彼此 的 程度 ， 而 在 另外 一 些 时 候 ， 测 试 和 开发 又 是 完全 分 离 ， 甚 至 开 友 
人 员 都 不 知道 测试 在 做 些 什 么 。 

注意 

有 时 ， 测 试 和 开发 互相 交织 在 一 起 ， 达 到 了 无 法 区 分 彼此 的 程度 ， 
而 在 另外 一 些 时 候 ， 测 试 和 开发 又 是 完全 分 离 的 ， 甚 至 开 有 友人 员 都 不 知 
道 测试 在 做 些 什么 。 

贯穿 Google 的 整个 发 展 史 来 看 ， 当 前 Google 的 发 展 速度 只 比 创业 初 
期 慢 了 一 点 点 而 已 。 虽 然 Google 创 业已 是 很 久 以 前 的 历史 ， 但 还 是 可 以 
在 一 年 内 就 做 出 一 个 操作 系统 、 在 几 周 内 束 发 布 像 Chrome 这 样 的 客户 











问 应 用 、 每 天 都 在 更 新 其 网 络 应 用 程序 。 在 这 种 环境 下 ， 很 容易 就 可 以 
说 清楚 测试 并 非 “ 教 条 式 的 、 强 流程 、 体 力 密集 型 、 耗 时 的 “一 -一 这 比 定 
义 测试 是 什么 要 简单 的 多 ， 虽 然 本 书 一 直 在 尝试 解释 测试 是 什么 。 有 一 
件 事 是 可 以 确定 的 ， 测 试 不 能 成 为 导致 创新 和 开发 过 程 变 慢 的 阻碍 。 至 
少 ， 这 种 情况 不 能 出 现 两 次 。 

Google 在 测试 上 的 成 功 ， 不 能 简单 地 归结 为 其 被 测 系 统 规模 小 且 简 
单 。Google 软 件 应 用 的 规模 和 复杂 上 度 与 外 面 其 他 的 公司 一 样 。 从 客户 端 
的 操作 系统 到 网 络 应 用 、 移 动 端 、 企 业 级 应 用 、 商 业 应 用 、 社 交 等 各 个 
方面 ，Google 几 乎 无 所 不 包 。 

Google 的 软件 庞大 且 复 杂 ， 拥 有 数 以 亿 计 的 用 户 ， 也 是 黑客 们 喜爱 
的 攻击 目标 。 绝 大 多 数 Google 源 代码 都 是 开源 的 ， 这 些 代码 对 外 公开 ， 
补 外 界 所 器 饥 。 多 数 代 码 是 历史 遗留 代码 ， 使 用 常规 的 代码 审核 来 做 代 
人 码 评 审 。Google 的 代码 服务 于 上 百 个 国家 ， 使 用 不 同 的 语言 ， 但 是 用 户 
其 实 只 是 期 望 Google 能 够 提供 简单 易 用 有 旦 “能 够 工作 ”的 服务 。Google 
的 测试 人 员 每 天 完成 的 工作 ， 并 非 只 是 解决 简单 的 问题 ，Google 的 测试 

员 每 天 都 在 面临 不 同 的 测试 挑战 。 

Google 的 做 法 是 否 正确 (很 有 可 能 是 错误 的 ) 是 一 个 值得 商 枚 的 事 
情 ， 但 有 一 点 是 确定 的 ，Google 的 测试 方法 与 其 他 我 所 了 解 的 公司 的 测 
试 方法 有 很 大 的 不 同 。 随 着 软件 逐渐 由 架 面 应 用 迁移 到 网 络 云端， 
Google 的 测试 模式 很 有 可 能 会 逐渐 成 为 测试 行业 的 主流 模式 。 在 测试 这 
个 行业 ， 如 何 做 测试 ， 从 而 保证 可 以 开发 出 可 靠 的 、 值 得 信赖 的 软件 ， 
一 直 是 这 个 行业 值得 争议 的 话题 。 我 和 本 书 的 其 他 作者 就 希望 通过 本 书 
可 以 很 好 地 阐述 Google 的 测试 实践 ， 从 而 可 以 引起 一 些 讨 论 ， 达 到 抛 砖 
引 玉 的 目的 。Google 的 测试 方法 或 许 有 它 的 不 足 ， 但 我 们 也 乐意 去 对 外 
公开 它们 ， 使 之 表露 在 业界 和 国际 测试 社区 的 眼皮 之 下 ， 在 经 过 外 界 的 
严格 审查 之 后 ， 我 们 才能 持续 地 改进 。 

Google 的 测试 方法 看 起 来 有 点 违背 常理 一 一 在 整个 公司 ， 我们 只 有 
































非常 少 的 专职 测试 人 员 ， 甚 至 比 我 们 竞争 对 手 公 司 的 单个 产品 的 测试 人 
员 还 要 少 。 在 通 往 成 功 的 道路 上 ，Google 的 测试 团队 并 非 雄 兵 百 万 ， 我 
们 更 像 是 小 而 精 的 特种 部 队 ， 我 们 依靠 的 是 出 色 的 战术 和 高 级 武器 。 由 
于 资源 的 缺乏 ， 这 也 是 我 们 同 特 种 部 队 方 癌 发 展 的 根本 原因 。 没 有 足够 
的 人 手 ， 使 得 我 们 不 得 不 去 做 好 优先 级 的 安排 ,正如 Larry Page 所 
说 ,“ 少 则 清晰 ”。 不 管 是 功能 方面 的 技术 ， 还 是 测试 方面 的 技术 ， 在 妃 
求 质量 方面 ， 我 们 已 经 学 会 了 如 何 运 用 这 些 技术 ， 创 建 高 影响 力 、 低 阻 
力 的 实践 活动 。 训 试 人 员 的 黎 缺 会 导致 测试 资源 变 得 非常 昂贵 ， 因 此 ， 

我 们 的 原则 就 是 让 这 些 稀 缺 且 聪明 的 测试 员工 保持 昂扬 的 斗志 和 充沛 的 
精力 。 当 有 人 来 问 我 ，Google 成 功 的 关键 是 什么 ， 我 的 第 一 个 建议 就 

是 ， 不 要 招聘 太 多 的 测试 人 员 。 

注意 

当 有 人 来 问 我 ，Google 成 功 的 关键 是 什么 ， 我 的 第 一 个 建议 就 是 ， 
不 要 招聘 太 多 的 测试 人 员 。 

Google 在 测试 人 员 如 此 缺乏 的 情况 下 ， 是 如 何 应 对 的 呢 ? 简单 地 
说 ， 在 Google， 写 代码 的 开发 人 员 也 承担 了 质量 的 重任 。 质 量 从 来 就 不 
仅仅 是 一 些 测 试 人 员 的 问题 。 在 Google， 每 个 写 代码 的 开发 者 本 身 就 是 
测试 者 ， 质 量 在 名 义 上 也 由 这 样 的 开发 测试 组 合共 同 藉 担 ， 如 图 1.1 所 
示 。 在 Google， 谈 论 开 发 测试 比 〈 译 注 : 这 里 指 在 人 员 数 量 上 ， 开 发 和 
测试 的 比率 ) 就 像 讨论 太阳 表面 的 空气 质量 一 样 ， 这 本 里 没有 任何 意 
义 。 如 果 你 是 一 名 工程 师 ， 那 么 你 同时 也 是 一 名 测试 人 员 。 如 果 在 你 的 
只 位 头衔 上 有 测试 的 字样 ， 你 的 任务 就 是 怎样 使 那些 头衔 上 没有 训 试 的 
人 可 以 更 好 地 去 做 测试 。 

Google 可 以 打造 出 世界 级 的 软件 ， 这 也 足以 证 明 其 对 待 质量 的 独特 
方法 值得 学 习 。 或 许 其 中 的 一 些 经 验 在 其 他 的 公司 组 织 中 也 能 适用 。 当 
然 里 面 也 有 需要 改进 的 地 方 。 接 下 来 所 述 就 是 天 于 Google 测 试 方法 的 概 
要 介绍 。 在 后 面 的 章节 里 ， 我 们 会 深入 到 细节 中 ， 以 此 来 前 述 在 以 开发 



































为 中 心 的 文化 中 Google 是 如 何 做 测试 的 。 


虽然 100% 的 测试 我 并 不 太 在 乎 产品 中 是 
覆盖 率 听 起 来 很 否 少 了 一 个 很 酷 的 功能 ， 
困难 , 但 这 是 我 们 与 之 相 比 , 我 更 在 意 产品 


努力 的 目标 — 





a 图 1.1 与 功能 相 比 Google 工 程 师 更 看 重 质量 








1.1 质量 不 等 于 测试 


质量 不 是 被 测试 出 来 的 一 一 这 人 句 看 似 陈 词 滥 调 的 话 却 包含 着 一 定 的 
道理 。 从 汽车 行业 到 软件 行业 ， 如 果 在 最 开始 设计 创建 的 时 候 就 是 错 
的 ， 那 它 永 远 不 会 变 成 正确 的 。 试 问 一 下 汽车 行业 的 公司 ， 大 量 召 回 事 
实 上 有 质量 问题 的 产品 ， 代 价 是 多 么 的 昂 贯 。 因 此 ， 从 最 初 的 创建 阶段 
就 要 做 正确 ， 人 否则 将 会 陷入 混乱 的 万 丈 深 渊 。 

然而 ， 这 人 句 话 也 并 不 像 听 起 来 那样 的 简单 和 准确 。 虽 然 质 量 不 是 被 
汕 出 来 的 ， 但 同样 有 证 据 可 以 表明 ， 未 经 测试 也 不 可 能 开发 出 有 质量 的 
软件 。 如 宋 连 测试 都 没有 做 ， 如 何 保 证 你 的 软件 共有 很 高 的 质量 呢 ? 

有 一 个 简单 的 办 法 可 以 解决 这 个 难题 ， 那 就 是 停止 开 肥 与 测试 的 隔 
离 对 并 。 开 发 和 测试 应 该 并 肩章 趋 。 你 需要 在 写 完 每 一 段 代 码 后 立刻 测 
试 这 段 代 码 ， 当 完成 了 更 多 的 代码 时 就 要 做 更 多 的 测试 。 测 试 不 是 独立 
隔离 的 活动 ， 它 本 刁 就 是 开发 过 程 的 一 部 分 。 质 量 不 等 于 测试 ， 当 你 把 
开发 过 程 和 测试 放 到 一 起 ， 束 像 在 搅拌 机 里 混合 搅拌 那样 ， 直 到 不 能 区 
分 彼此 的 时 候 ， 你 束 得 到 了 质量 。 

注意 

质量 不 等 于 测试 。 当 你 把 开发 过 程 和 训 试 放 到 一 起 ， 就 像 在 搅拌 机 
里 混合 搅拌 那样 ， 直 到 不 能 区 分 彼此 的 时 候 ， 你 就 得 到 了 质量 。 

在 Google， 这 正 是 我 们 的 目标 ， 就 是 把 开发 过 程 和 测试 融合 在 一 起 
一 一 开发 和 测试 必须 同时 开展 。 写 一 段 代码 就 立刻 测试 这 段 代 码 ， 完 成 
更 多 的 代码 就 做 更 多 的 测试 ， 但 这 里 的 关键 是 由 谁 来 做 这 些 测试 呢 ? 众 
所 周知 ， 在 Google， 专 职 测 试 人 员 的 数量 非常 稀少 ， 与 开发 相 比 根本 不 
成 比例 ， 唯 一 可 能 的 去 做 这 些 的 就 只 能 是 开发 人 员 。 还 有 谁 能 比 实际 写 









































代码 的 人 更 适合 做 测试 呢 ? 还 有 谁 能 比 实际 写 代码 的 人 更 适合 去 寻找 
bug 呢 ? 是 谁 会 为 了 避免 受 更 大 刺激 而 去 想 办 法 避免 产生 bug 呢 ? Google 
能 用 如 此 少 的 专职 测试 人 员 的 原因 ， 就 是 开发 对 质量 的 负责 。 如 果 茶 个 
产品 出 了 问题 ， 第 一 个 跳出 来 的 衣 定 是 导致 这 个 问题 发 生 的 开 及 人 员 ， 
而 不 是 遗漏 这 个 bug 的 测试 人 员 。 

这 意味 着 质量 更 像 是 一 种 预防 行为 ， 而 不 是 检测 。 质 量 是 开发 过 程 
的 问题 ， 而 不 是 测试 问题 。 我 们 已 经 成 功 地 将 测试 实践 融入 为 开发 过 程 
的 一 部 分 ， 并 创建 了 一 个 增 量 上 线 的 流程 。 如 果 一 些 项 目 在 线 上 被 证 实 
的 确 是 bug 重 重 ， 它 将 会 被 回 滚 到 之 前 的 版 本 。 在 确保 不 出 现 回 滚 级 别 
bug 发 生 的 前 提 下 ， 预 防 了 许多 客户 问题 的 同时 ， 也 很 大 程度 降低 了 专 
职 测试 人 员 的 数量 。 在 Google， 测 试 的 目标 就 是 来 判断 这 种 预防 工作 做 
的 怎么 样 。 

把 开发 过 程 和 测试 混合 在 一 起 ， 密 不 可 分 ， 从 代码 审核 问 询 时 
的 “你 的 测试 在 哪儿 ”， 再 到 在 卫生 间 张 贴 着 的 、 用 来 提醒 开 及 人 员 的 最 
佳 测试 实践 〈 注 3: 参见 
http://googletesting.blogspot.com/2007/01/introducing-testing-on- 
toilet.html)〉。 测 试 是 开发 过 程 中 必 不 可 少 的 一 部 分 ， 当 开发 过 程 和 测试 
一 起 携手 联姻 时 ， 既 是 质量 达成 之 时 。 

注意 

测试 是 开发 过 程 中 必 不 可 少 的 一 部 分 ， 当 开发 过 程 和 测试 一 起 携手 
联姻 时 ， 即 是 质量 达成 之 时 。 

















1.2 角色 


为 了 保证 “ 解 铃 还 需 系 铃 人 ”这 人 句 名 言 成 为 事实 (译注 : “you build 
it, you break it*”， 摘 自 “you build it, you break it, you fix it”。 原 意 指 在 
构建 实验 室 (Build Lab) 的 人 永远 不 会 去 修复 构建 失败 (build break) 
的 问题 ， 只 有 开发 人 员 自 己 才 能 修复 。 这 里 的 意思 是 开发 人 员 自 己 要 对 
自己 写 的 代码 负责 ， 比 专职 的 测试 人 员 更 适合 做 测试 工作 。 在 传统 的 开 
发 岗位 之 外 我 们 又 增加 了 几 种 角色 。 我 们 明确 地 提出 了 有 一 种 工程 师 角 
色 必 须 存 在 ， 他 可 以 让 开发 人 员 更 加 有 效 且 高 效 地 做 测试 。 在 Google， 
我 们 的 确 创 建 了 这 样 的 角色 ， 他 的 职责 就 是 让 其 他 的 工程 师 更 有 效率 和 
质量 意识 。 这 些 角色 党 把 他 们 自己 看 做 是 测试 者 ， 但 实际 上 他 们 的 使 命 
是 提高 生产 率 。 测 试 人 员 的 存在 是 为 了 让 开发 人 员 的 工作 更 有 效率 ， 并 
且 很 大 一 部 分 体现 在 避免 因 马 虎 粗 心 而 导致 的 返工 ， 因 此 ， 质 量 也 是 效 
率 的 一 部 分 。 在 接 下 来 的 章节 里 ， 会 花费 较 多 的 内 容 来 详细 讲解 这 些 角 
色 ， 所 以 在 这 里 只 进行 简单 的 介绍 。 

















1.2.1 软 < 工程师 (SWE) 


软件 开发 工程 师 (译注 : software ”engineer， 后 文 简称 SWE) 是 一 
个 传统 上 的 开发 角色 ， 他 们 的 工作 是 实现 最 终 用 户 所 使 用 的 功能 代码 。 
他 们 创建 设计 文档 、 选 择 最 优 的 数据 结构 和 整体 架构 ， 并 且 人 花费 大 量 时 
间 在 代码 实现 与 代码 审核 上 。SWE 需 要 编写 与 测试 代码 ， 包 括 测试 驱动 
的 设计 、 单 元 测试 、 参 与 构建 各 种 大 小 规模 的 测试 等 ， 这 些 测 试 会 在 本 
章 的 后 面 做 详细 解释 。SWE 会 对 他 们 编写 、 修 复 以 及 修改 的 代码 承担 质 
量 责 任 。 假 设 一 个 开发 者 不 得 不 修改 一 个 函数 ， 如 采 这 次 修改 导致 已 有 











测试 用 例 运 行 失败 ， 或 者 需要 增加 一 个 新 的 测试 用 例 ， 他 就 必须 去 实现 
这 个 测试 用 例 的 代码 。 开 发 工程 师 几 乎 将 所 有 的 时 间 都 花费 在 了 代码 编 
BE. 


1.2.2 软件 测 记 :工程师 CSET) 


软件 测试 开发 工程 师 (译注 : software engineer in test， 后 文 简称 
SET) 也 是 一 个 开发 角色 ， 只 是 工作 重心 在 可 测试 性 和 通用 测试 基础 杠 
架 上 。 他 们 参与 设计 评审 ， 非 常 近 距离 地 观察 代码 质量 与 风险 。 为 了 增 
加 可 测试 性 ， 他 们 甚至 会 对 代码 进行 章 构 ， 并 编写 单元 测试 框架 和 上 自动 
化 测试 框架 。SET 是 SWE 在 代码 库 上 的 合作 伙伴 ， 相 比较 SWE 是 在 增加 
功能 性 代码 或 是 提高 性 能 的 代码 ，SET 更 加 关注 于 质量 提升 和 测试 覆盖 
率 的 增加 。SET 同 样 会 花费 近 百 分 之 百 的 时 间 在 编写 代码 上 ， 他 们 这 样 
做 的 目的 是 为 质量 服务 ， 而 SWE 则 更 关注 客户 使 用 功能 的 开发 实现 上 。 

注意 

SET 是 SWE 在 代码 库 上 的 合作 伙伴 ， 与 增加 功能 性 代码 或 提高 性 能 
的 代码 的 SWE 相 比 ，SET 更 加 关注 于 质量 的 提升 和 测试 覆盖 率 的 增加 。 
SET 写 代码 的 目的 是 可 以 让 SWE 测 试 自己 的 功能 。 














1.2.3 测试 工程 师 CTE) 


测试 工程 师 (译注 : test engineer， 后 文 简称 TE) 是 一 个 和 SET 关系 
密切 的 角色 ， 有 自己 不 同 的 关注 点 一 一 把 用 户 放 在 第 一 位 来 思考 ， 代 表 
用 户 的 利益 。 一 些 Google 的 TE 会 花费 大 量 时 间 在 模拟 用 户 的 使 用 场景 和 
自动 化 脚本 或 代码 的 编号 上 。 同 时 ， 他 们 会 把 开发 工程 师 和 SET 编写 的 
测试 分 门 别 类 地 组 织 起 来 ， 分 析 、 解 释 、 测 试 运行 结果 ， 了 驱动 测试 执 
行 ， 特 别 是 在 项 目的 最 后 阶段 ， 推 进 产 品 发 布 。TE 是 真正 的 产品 专 
家 、 质 量 顾问 和 风险 分 析 师 。 某 些 TE 需 要 编写 大 量 的 代码 ， 而 另外 一 





些 TE 则 只 用 编写 少量 的 代码 。 

注意 

TE 把 用 户 放 在 第 一 位 来 思考 。TE 组 织 整 体质 量 实践 ， 分 析 解 释 测 
WIS TZ, BAW, T Em BU MGA EJ MK e 

从 质量 的 角度 来 看 ，SWE 负 责 功 能 实现 和 这 些 独立 功能 的 质量 。 他 
们 对 容错 设计 、 故 隐 恢 复 、 测 斌 驱动 设计 、 单 元 测试 负责 ， 并 和 SET 一 
起 编写 测试 代码 。 

SET 也 是 开发 人 员 ， 负 责 提 供 测 试 支持 。 有 这 样 一 个 测试 框架 ， 它 
可 以 把 新 开发 的 代码 隔离 ， 通 过 模拟 一 个 真实 的 工作 运行 环境 (一 个 包 
含 stubs、mock、fake 等 方法 的 流程 ， 这 些 内 容 会 在 后 面 详细 讲 到 )〉 和 代 
码 提交 队列 来 管理 代码 的 提交 。 换 句 话说，SET 编写 代码 ， 通 过 这 些 代 
码 提供 的 功能 让 SWE 能 够 自己 测试 他 们 的 功能 。 多 数 测试 代码 是 由 
SWE 完 成 ，SET 存 在 的 目的 就 是 保证 这 些 功 能 模块 具有 可 测试 性 ， 并 且 
相应 的 SWE 还 可 以 积极 地 参与 到 测试 代码 的 编写 中 去 。 

很 明显 ，SET 的 主要 关注 对 象 束 是 开发 人 员 。SET 的 主要 职员 是 
开发 者 可 以 很 容易 地 编写 测试 代码 ， 从 而 达到 独立 功能 模块 的 质量 
cc a de 
了 足够 多 的 模块 级 别 与 功能 级 别 的 测试 ， 下 一 步 要 考虑 的 就 是 要 验证 这 
些 可 执行 的 代码 与 数据 集成 在 一 起 之 后 ， 是 否 可 以 满足 最 终 用 户 的 需 
求 。 在 这 里 ，TE 扮 演 着 一 个 双重 确认 的 角色 ， 确 认 开 发 人 员 在 测试 方 
面 的 工作 是 否 到 位 ， 任 何 明显 的 bug 都 会 表明 早期 开发 人 员 所 做 的 测试 
工作 存在 不 足 或 比较 马虎 。 当 这 些 明 显 的 bug 变 少时 ，TE 会 把 注意 力 转 
移 到 常见 用 户 使 用 场景 中 去 ， 是 否 满 足 性 能 期 望 ， 在 安全 性 、 国 际 化 、 
访问 权限 等 方面 是 否 满足 用 户 的 要 求 。TE 运 行 许多 测试 的 同时 ， 也 负 
责 和 其 他 团队 的 TE、 人 合同工 编 制 的 测试 人 员 、 以 众 包 形式 参与 的 测试 
者 、 内 部 尝鲜 者 、beta 测 试 者 以 及 早期 用 户 进 行 合作 交 流 ， 与 各 方 讨论 
基本 设计 市 来 的 风险 、 功 能 逻辑 复杂 性 和 错误 避免 的 方法 。 一 旦 TE 参 




















与 到 项 目 之 中 ， 基 本 上 就 会 没完 没 了 。 


1.3 组 织 结构 


在 我 过 去 曾经 工作 过 的 多 数组 织 中 ， 开 发 人 员 和 测试 人 员 都 一 起 隶 
属于 同一 个 工程 产品 团队 。 从 组 织 架 构 上 讲 ， 开 发 人 员 和 测试 人 员 汇 报 
给 同一 个 产品 团队 的 管理 者 。 这 样 看 起 来 ， 同 一 个 产品 、 同 一 个 团队 、 
所 有 参与 的 人 都 在 一 起 ， 应 该 可 以 做 到 平等 相处 、 患 难 与 共 。 

但 不 笠 的 是 ， 我 还 从 来 没 见 过 有 团队 能 真正 做 到 这 样 。 资 深 管 理 者 

般 都 来 自 产 品 经 理 或 开发 经 理 ， 而 不 是 来 自 于 测试 团队 。 在 产品 发 布 
时 ， 优 先 考 虑 的 是 功能 的 完备 性 和 易 用 性 方面 是 否 足够 简单 ， 却 很 少 考 
虑 质量 问题 。 作 为 同一 个 团队 ， 测 试 总 是 在 为 开发 让 路 。 为 何 我 们 这 个 
行业 里 总 是 充斥 着 各 种 有 缺陷 的 、 早 产 的 产品 ， 或 许 这 就 是 问题 所 在 。 
质量 不 行 就 再 发 布 一 个 补丁 包 。 

注意 

资深 管理 者 一 般 都 来 自 产 品 经 理 或 开发 经 理 ， 而 不 是 来 自 于 测试 团 
队 。 在 产品 发 布 时 ， 优 先 考虑 的 是 功能 是 否 完 整 和 易 用 性 方面 是 否 足 够 
简单 ， 却 很 少 考虑 质量 。 作 为 同一 个 团队 ， 测 试 总 是 在 为 开发 让 路 。 

Google 的 组 织 汇报 关系 被 划分 为 不 同 的 专注 领域 (Focus Areas) 。 
这 些 专注 领域 包括 客户 端 〈Chrome、Google 工 具 栏 等 ) X838 〈 地 图 、 
Google Earth 等 ) 、 广 告 、Apps、 移 动 ， 等 等 。 所 有 的 开发 工程 师 都 汇 
报 给 这 些 专 注 领域 的 管理 者 、 总 监 或 副 总 裁 。 

但 SET 和 TE 并 没有 遵循 这 个 模式 。 测 试 是 独立 存在 的 部 门 ， 是 与 专 
注 领域 部 门 平行 的 部 门 〈 横 蜂 各 个 产品 专注 领域 ) ， 我 们 称 为 工程 生产 
力 团 队 。 测 试 人 员 基 本 上 以 租借 的 方式 进入 产品 团队 ， 去 做 提高 质量 相 
关 的 事情 ， 寻 找 一 些 测 试 不 足 的 地 方 ， 或 者 公开 一 些 不 可 接受 的 缺陷 率 

















数据 。 由 于 测试 人 员 并 不 是 直接 癌 产 品 团队 进行 汇报 ， 因 此 我 们 并 不 是 
简单 地 被 告 之 东 个 项 目 急 需 发 布 就 可 以 通过 测试 。 我 们 有 上 自己 选择 决定 
的 优先 级 ， 在 可 靠 性 、 安 全 性 等 问题 上 都 不 会 妥协 ， 除 非 碰 到 更 重要 的 
事情 。 如 果 开 发 团队 想 要 我 们 在 测试 上 放 他 们 一 号 ， 他 们 必须 事先 和 我 
们 协商 ， 但 一 般 情况 下 也 都 会 被 拒绝 。 

这 样 的 组 织 结构 也 可 以 帮助 我 们 保持 数量 较 少 的 测试 人 员 。 一 个 产 
品 团队 不 能 任意 降低 测试 人 员 招 聘 的 技术 要 求 ， 从 而 雇佣 更 多 的 测试 人 
员 ， 然 后 再 让 他 们 做 一 些 简 单 和 琐 雁 的 脏 活 蒜 活 。 这 些 功能 相关 的 脏 活 
索 活 本 应 是 开发 人 员 的 工作 ， 不 能 简单 地 扔 给 倒 短 的 测试 人 员 。 工 程 生 
产 力 团队 会 根据 不 同 产 品 团队 的 优先 级 、 复 杂 度 ， 并 与 其 他 产品 实际 比 
较 之 后 ， 再 来 分 配 测试 人 员 。 显 然 ， 有 时 候 我 们 可 能 搞 错 ， 实 际 上 也 确 
实 出 过 错 ， 但 总 体 来 说 ， 这 样 会 保持 实际 的 需求 与 不 明确 的 需求 之 间 的 
某 种 平衡 。 

注意 

工程 生产 力 团 队 会 根据 不 同 产品 团队 的 优先 级 、 复 杂 度 ， 并 与 其 他 
产品 实际 比较 之 后 ， 再 来 分 配 测 试 人 员 。 显 然 ， 有 时 候 我 们 可 能 搞 错 ， 
实际 上 也 确实 出 过 错 ， 但 总 体 上 来 说 ， 这 样 会 保持 实际 的 需求 与 不 明确 
的 需求 之 间 的 茶 种 平衡 。 

这 种 测试 人 员 在 不 同 项 目 之 间 的 借调 模式 ， 可 以 让 SET 和 TE 时 刻 保 
持 狐 鲜 感 并 且 总 是 很 忙碌 ， 男 外 还 能 保证 一 个 好 的 测试 想法 可 以 快速 在 
公司 内 部 蔓延 。 一 个 在 Geo 产 品 上 运用 很 好 的 测试 技术 或 工具 ， 很 有 可 
能 在 Chrome 产品 中 也 得 到 使 用 。 推 广 测 试 技术 方面 创新 的 最 佳 方式 ， 
英 过 于 把 这 个 创新 的 发 明 者 直接 借调 过 来 。 

在 Google 有 一 个 广泛 被 接受 的 做 法 : 对 于 一 个 测试 人 员 ， 如 果 在 
菏 个 产品 中 工作 满 18 个 月 之 后 ， 惑 可 以 无 理由 地 目 愿 转岗 到 其 他 产品 ， 
当然 这 个 转 疯 并 不 是 强制 的 。 可 以 想象 一 个 产品 失去 优秀 测试 专家 而 带 
来 的 悲痛 ， 但 从 整个 公司 的 角度 来 看 ， 需 要 你 持 对 各 个 产品 与 技术 都 了 




















解 的 测试 人 员 的 存在 。Google 的 测试 工程 师 在 客户 端 、Web、 浏 览 器 、 
移动 技术 等 领域 都 有 所 涉猎 ， 可 以 高 效 地 使 用 不 同 的 语言 和 和 平台。 由 于 
Google 的 产品 和 服务 很 大 程度 上 有 比较 强 的 集成 关联 关系 ， 测 试 人 员 可 
以 很 容易 地 保持 相关 的 专业 技能 ， 并 在 公司 范围 内 的 产品 之 间 上 自由 容 


梭 。 





1.4 E, XE. IH 


在 拥有 如 此 少量 测试 人 员 的 情况 下 ，Google ”还 可 以 取得 不 错 的 成 
果 ， 核 心 原因 在 于 Google 从 来 不 会 在 一 次 产品 发 布 中 包含 大 量 的 功能 。 
实际 上 ， 我 们 的 做 法 恰恰 相反 ， 在 一 个 产品 的 基本 核心 功能 实现 之 后 ， 
就 立刻 对 外 发 布 使 用 ， 然 后 从 用 户 那里 得 到 真实 反馈 ， 再 进行 迭代 开 
发 。 这 也 是 我 们 在 Gmail 产品 上 的 经 验 ，Gmail 带 着 beta 标 签 在 线 上 运营 
了 四 年 ， 这 个 标签 用 以 警示 我 们 的 用 户 ，Gmail 仍 处 于 改良 之 中 。 对 于 
最 终 用 户 ， 只 有 该 产品 达到 99.99% 的 可 用 性 时 ， 我 们 才 会 把 beta 标 签 去 
fü. fEAndroid G1 这 个 产品 上 ， 我 们 再 次 使 用 了 这 个 方法 ， 让 这 个 非常 
有 用 且 经 过 民 好 设计 的 产品 变 得 更 棒 了 ， 功 能 也 更 加 丰富 全 面 ， 之 后 的 
Nexus 手 机 也 采用 了 相同 的 策略 。 有 一 点 需要 引起 注意 ， 对 于 初期 版 本 
的 用 户 ， 并 不 是 因为 这 个 产品 还 处 于 早期 版 本 就 不 为 之 提供 足够 的 功 
能 ， 早 期 版 本 并 不 意味 着 是 一 个 不 可 用 的 烂 版 本 。 

注意 

Google 经 常 在 最 初 的 版 本 里 只 包含 最 基本 的 可 用 功能 ， 然 后 在 后 继 
的 快速 迭代 的 过 程 中 得 到 内 部 和 外 部 用 户 的 反馈 ， 而 且 在 每 次 友 代 的 过 
程 中 都 非常 注重 质量 。 一 个 产品 在 发 布 给 用 户 使 用 之 前 ， 一 般 都 要 经 历 
金 丝 逢 版本、 开发 版 本 、 测 试 版 本 、beta 或 正式 发 布 版 本 。 

Google 发 布 的 过 程 虽然 快 ， 但 也 并 不 像 想象 中 如 牛仔 一 般 的 鲁莽 与 
人 仓促。 实际 上 ， 为 了 发 布 我 们 称 为 beta 的 版 本 ， 一 个 产品 要 经 历 一 系列 
的 内 部 版 本 验证 ， 用 以 证 明 它 已 经 具备 了 一 定 的 质量 。 例 如 Chrome， 
这 是 我 加 入 Google 之 后 的 两 年 都 为 之 工作 的 一 个 产品 ， 根 据 我 们 对 产品 
的 信心 以 及 来 自用 户 的 反馈 ， 我 们 在 整个 过 程 中 使 用 了 不 同 的 版 本 ， 大 




















致 顺序 如 下 。 

PERE: 这 是 每 日 部 要 构建 的 版 本 ， 用 来 排除 过 小 一 些 明显 不 
适宜 的 版 本 。 就 像 煤 矿井 里 的 金 丝 汰 《译注 : 17 世 纪 ， 英 国人 将 金 丝 和 省 
UAIR FERMATE. WREE, MRRP HPE 
气 已 达到 令 人 中 毒 的 水 平 。 此 处 意 为 对 一 件 事 情 的 预警 ) ， 如 果 构 建 失 
败 了 的 话 ， 音 味 着 我 们 的 流程 可 能 在 哪里 出 了 严重 问题 ， 需 要 去 复查 一 
避 我 们 的 工作 。 使 用 金 丝 件 版 本 雷 要 极 强 的 容 奶 度 ， 而 且 在 这 个 版 本 下 
可 能 无 法 使 用 应 有 的 基本 功能 。 一 般 来 说 ， 只 有 这 个 产品 的 工程 师 ( 开 
发 或 测试 人 员 ) 和 管理 人 员 才 会 安装 使 用 金 丝 雀 版本。 

注意 

Android 团 队 在 这 方面 有 更 勇敢 的 答 试 ， 所 有 核心 开发 团队 成 员 的 
手机 上 都 安装 有 每 日 构建 的 版 本 。 这 样 做 是 为 了 减少 往 代 码 库 中 提交 有 
问题 的 代码 ， 一 旦 安装 了 错误 代码 ， 手 机 甚至 都 无 法 使 用 其 基本 功能 ， 
例如 和 家 人 通话 。 

开发 版 本 : 这 是 开 及 人 员 日 常 使 用 的 版 本 ,一般 是 每 周 发 布 一 个 。 
该 版 本 具有 一 定 的 功能 并 通过 了 一 系列 的 测试 〈 我 们 将 会 在 随后 的 章节 
里 讨论 这 点 ) 。 所 有 这 个 产品 下 的 工程 师 都 会 被 要 求 去 安装 这 个 版 本 ， 
并 在 日 常 工 作 中 真正 使 用 它 ， 这 样 可 以 持续 对 这 个 版 本 进行 测试 。 如 果 
一 个 开发 版 本 不 能 够 满足 日 常 真 实 工作 的 需求 ， 那 么 它 将 会 被 打 回 为 金 
丝 仅 版 本 。 发 生 这 种 情况 不 但 令 人 郁 间 ， 工 程 团队 也 需要 再 花费 大 量 的 
时 间 去 重新 评估 。 

测试 版 本 : 这 是 一 个 通过 了 持续 测试 的 版 本 。 这 个 版 本 基本 上 是 最 
近 一 个 月 里 的 最 佳 版 本 了 ， 也 是 工程 师 在 日 常 工作 中 使 用 的 最 稳定 最 信 
任 的 一 个 版 本 。 测 试 版 本 可 以 被 挑选 作为 内 部 符 鲜 (译注 : dog food) 
版 本 ， 如 果 该 版 本 有 比较 持续 的 优良 表现 ， 也 是 作为 beta 测试 的 候选 版 
本 。 一 些 情况 下 ， 如 果 测 试 版 本 在 公司 内 部 使 用 得 足 够 稳定 ， 一 些 想 更 
早 尝试 这 个 产品 的 外 部 合作 伙伴 也 会 使 用 这 个 版 本 。 





















































beta 或 发 布 版 本 : 这 个 版 本 是 由 非常 稳定 的 测试 版 本 演变 而 来 ， 并 
经 历 了 内 部 使 用 和 通过 所 有 质量 考核 的 一 个 版 本 ， 也 是 对 外 发 布 的 第 一 
个 版 本 。 

这 种 息 、 走 、 跑 的 模式 ， 给 我 们 的 应 用 程序 尽早 地 提供 了 一 个 测试 
验证 的 展 好 机 会 。 与 从 自动 化 测试 那里 得 到 的 反馈 一 样 ， 我 们 每 天 都 能 
从 内 部 用 户 那 里 得 到 关于 这 些 版 本 的 质量 反馈 。 


1.5 测试 类 型 


Google 并 没有 使 用 代码 测试 、 集 成 测试 、 系 统 测试 等 这 些 命名 方 
式 ， 而 是 使 用 小 型 测试 、 中 型 测试 、 大 型 测试 这 样 的 称谓 (不 要 和 敏捷 
社区 发 的 那些 T 恤 型 号 混为一谈 ) ， 着 重 强 调 测 试 的 范畴 规模 而 非 形 
式 。 小 型 测试 意味 厦 涵 新 较 少 量 的 代码 ， 其 他 的 测试 类 型 以 此 类 推 。 
Google 的 三 类 工程 师 都 会 去 执行 其 中 的 任何 一 种 测试 ， 无 论 是 自动 化 的 
还 是 手动 的 。 测 试 的 规模 越 小 ， 束 越 有 可 能 被 实现 成 为 自动 化 的 测试 。 

提示 

Google 并 没有 使 用 代码 测试 、 集 成 测试 、 系 统 测试 这 些 命 名 方式 ， 
而 是 使 用 小 型 测试 、 中 型 测试 、 大 型 测试 这 样 的 称谓 ， 着 重 强调 测试 的 
范畴 规模 而 非 形式 。 

小 型 测试 ” 一般 来 说 《但 也 并 非 所 有 ) 都 是 自动 化 实现 的 ， 用 于 验 
证 一 个 单独 函数 或 独立 功能 模块 的 代码 是 否 按照 预期 工作 ， 痢 重 于 典型 
功能 性 问题 、 数 据 损坏 、 错 误 条 件 和 大 小 差 一 错误 (译注 : 大 小 差 一 
Coff-by-one) 错误 是 一 类 常见 的 程序 设计 错误 ) 等 方面 的 验证 。 小 型 
测试 的 运行 时 间 一 般 比 较 短 ， 通 第 是 在 几 秒 或 更 短 的 时 间 内 就 可 以 运行 
完毕 。 通 常 ， 小 型 测试 是 由 SWE 来 实现 ， 也 会 有 少量 的 SET 参与 ，TE 几 
乎 不 参与 小 型 测试 。 小 型 测试 一 般 需 要 使 用 mock 和 fake《〈 译 注 : mock 对 
象 是 指 对 外 面 依赖 系统 的 模拟 ， 在 运行 时 刻 可 以 根据 假设 的 需求 提供 期 
望 的 结果 。fake ”对 象 是 一 种 虚假 的 实现 ， 内 部 使 用 了 固定 的 数据 或 逻 
辑 ， 只 能 返回 特定 的 结果 。 更 多 参见 
http://stackoverflow.com/questions/346372/whats-the-difference-between- 
faking-mocking-and-stubbing) 才能 运行 。TE 几乎 不 编写 小 型 测试 代 

















码 ， 但 会 参与 运行 这 些 测试 ， 来 诊断 一 些 特定 错 误 。 小 型 测试 主要 尝试 
解决 的 问题 是 “这 些 代 码 是 否 按 照 预 期 的 方式 运行 ”。 

中 型 测试 ”通常 也 都 是 自动 化 实现 的 。 该 测试 一 般 会 涉及 两 个 或 两 
个 以 上 ， 甚 至 更 多 模块 之 间 的 交互 。 测 试 重点 在 于 验证 这 些 “ 功 能 近邻 
区 ?之 闻 的 交互 ， 以 及 彼此 调用 时 的 功能 是 否 正 确 《〈 我 们 称 功能 交互 区 
域 为 “功能 近邻 区 ”) 。 在 产品 早期 开发 过 程 中 ， 在 独立 模块 功能 被 开发 
完毕 之 后 ，SET 会 驱动 这 些 测试 的 实现 及 运行 ，SWE 会 深度 参与 ， 一 起 
编码 、 调 试 和 维护 这 些 测试 。 如 果 一 个 中 型 测试 运行 失败 ，SWE 会 目 觉 
地 去 碍 看 分 析 原 因 。 在 开发 过 程 的 后 期 ，TE 会 通过 手动 的 方式 (如 果 
比较 难 去 实现 自动 化 或 实现 的 代价 较 大 时 ) ， 或 者 目 动 化 地 执行 这 些 用 
例 。 中 型 测试 尝试 去 解决 的 问题 是 ， 一 系列 临近 的 模块 互相 交互 的 时 
候 ， 是 人 否 如 我 们 预期 的 那样 工作 。 

RA m= TERE CHR ES) 的 功能 模块 ， 使 用 真实 用 
户 使 用 场景 和 实际 用 户 数据 ， 一 般 可 能 需要 消耗 数 个 小 时 或 更 长 的 时 间 
才能 运行 完成 。 大 型 测试 关注 的 是 所 有 模块 的 集成 ， 但 更 倾 问 于 结果 驱 
动 ， 验 证 软件 是 否 满足 最 终 用 户 的 需求 。 所 有 的 三 种 工程 师 角 色 都 会 参 
与 到 大 型 测试 之 中 ， 或 是 通过 目 动 化 测试 ， 或 是 探索 式 测 试 。 大 型 测试 
符 试 去 解决 的 问题 证， 这 个 产品 操作 运行 方式 是 否 和 用 户 的 期 望 相同 ， 
并 产生 预期 的 结果 。 这 种 端 到 问 的 使 用 场景 以 及 在 整体 产品 或 服务 之 上 
的 操作 行为 ， 即 是 大 型 测试 关注 的 重点 。 

注意 

小 型 测试 涵盖 单一 的 代码 段 ， 一 般 运行 在 完全 虚假 实现 fake) 的 
环境 里 。 中 型 测试 涵盖 多 个 模块 且 重 点 关注 在 模块 之 间 的 交互 上 ， 一般 
运行 在 虚假 实现 fake) 环境 或 真实 环境 中 。 大 型 测试 涵 冀 任意 多 个 模 
块 ， 一 般 运 行 在 真实 的 环境 中 ， 并 使 用 真正 的 用 户 数 据 与 资源 。 

小 型 、 中 型 、 大 型 等 描述 术语 是 什么 并 不 重要 ， 怎 么 称呼 它们 也 都 
可 以 ， 只 要 大 家 都 一 致 认可 。 重 要 的 是 ， 在 Google 测 试 人 员 使 用 统一 术 























语 来 谈论 他 们 测试 的 是 什么 ， 以 及 这 些 测试 范围 是 如 何 划分 的 。 一 些 雄 
心动 劲 的 测试 者 有 时 会 说 到 第 四 级 别 的 测试 ， 即 被 称 为 “超大 型 测试 ”， 
公司 里 的 其 他 测试 同仁 会 认为 这 是 一 个 超大 级 别 的 系统 测试 ， 涵 盖 所 有 
的 功能 且 运 行 时 间 会 非常 长 。 对 于 一 些 术 语 ， 不 需要 用 过 多 的 文字 去 解 
释 ， 按 照 字面 意思 就 可 以 理解 ， 这 样 做 是 最 好 的 。 

我 们 的 测试 对 象 以 及 测试 范围 的 大 小 是 动态 变化 的 ， 不 同 产品 之 间 
的 区 列 也 比较 明显 。Google 喜 欢 频繁 地 发 布 ， 并 快速 地 从 外 部 用 户 那 里 
得 到 产品 的 真实 有 反馈。 然后 再 迭代 开发 出 新 功能 。Google 积 极 努 力 地 开 
发 用 户 非 常 感 兴 趣 的 产品 特性 ， 并 尽 可 能 早 地 提供 一 些 功能 给 用 户 使 
用 。 男 外 ， 我 们 也 在 避免 做 一 些 用 户 不 想 要 的 产品 特性 ， 这 就 要 求 我 们 
要 非常 及 时 地 把 用 户 和 外 部 开发 者 一 起 拉 进 来 参与 ， 这 样 可 以 更 有 利于 
判断 我 们 发 布 的 产品 是 否 满足 用 户 的 真正 需求 。 

最 后 ， 关 于 自动 化 测试 和 手动 测试 的 比例 ， 对 于 所 有 的 三 种 类 型 测 
试 ， 当 然 更 倾 同 于 前 者 。 如 果 能 够 自动 化 ， 并 不 需要 人 脑 的 乔 塞 与 直觉 
来 判断 ， 那 就 应 该 以 自动 化 的 方式 实现 。 但 在 一 些 情况 下 需要 人 类 智慧 
的 判断 ， 例 如 ， 用 户 界面 是 否 漂亮 、 保 留 的 数据 是 否 包含 隐私 等 ， 这 些 
还 是 需要 手动 测试 来 完成 。 

注意 

对 于 所 有 的 三 种 类 型 测试 ， 当 然 更 倾向 于 前 者 。 如 果 能 够 自动 化 ， 
并 不 雷 要 人 脑 的 智 害 与 直觉 来 判断 ， 那 就 应 该 以 自动化 的 方式 实现 。 

正如 上 文中 提 到 的 ， 同 时 也 是 值得 重点 关注 的 一 点 ，Google 也 有 大 
量 的 手动 测试 ， 有 些 使 用 脚本 的 方式 在 记录 (译注 : scripted case， 把 每 
一 个 步骤 都 记录 下 来 的 用 例 表 示 方 式 。 注 意 ， 这 里 scripted case， 不 是 指 
通过 脚本 实现 的 自动 化 用 例 ， 这 里 只 是 强调 一 种 case 的 实现 方式 ) ， 而 
另外 一 些 使 用 探索 式 的 方法 ， 这 些 测试 都 在 被 密切 地 关注 ， 以 后 可 能 被 
自动 化 方式 所 痊 代 。 通 过 使 用 定位 点 击 的 验证 方式 、 录 制 技术 等 可 以 把 
一 些 手动 测试 转变 成 目 动 化 测试 ， 这 些 自 动 化 测试 在 每 次 建立 之 后 都 会 












































重复 地 回归 运行 ， 而 手动 测试 更 倾 问 于 关注 于 新 功能 。 我 们 甚至 把 开 
bug 和 日 常 的 手动 工作 都 自动 化 实现 了 ， 例 如 ， 如 采 自 动 化 用 例 运行 失 
败 ， 系 统 会 自动 检查 到 最 后 一 次 代码 变更 的 内 容 ， 这 些 变更 极 有 可 能 是 
造成 失败 的 徘 魁 神 首 。 系 统 会 自动 给 代码 变更 的 提交 者 发 送 一 封 邮 件 ， 
并 新 开 一 个 bug 来 记录 这 个 问题 。 将 自动 化 做 到 ， 力 争 殉 服 “ 人 类 智慧 的 
最 后 一 英寸 "这 也 是 Google 的 设计 理念 与 目标 ， 也 正 是 正在 构建 之 中 的 
下 一 代 测 试 工具 的 努力 方 回 。 
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在 理想 情况 下 ， 一 个 完美 的 开发 过 程 是 怎样 进行 的 呢 ? 测试 先行 ， 
在 一 行 代码 都 没有 真正 编写 之 前 ， 一 个 开发 人 员 就 会 去 思考 如 何 测 试 他 
即将 编写 的 代码 。 他 会 设计 一 些 边界 场景 的 测试 用 例 ， 数 据 取 值 范围 从 
极 大 到 极 小 、 导 致 循环 语句 超出 限制 范围 的 情况 ， 另 外 还 会 考虑 很 多 其 
他 的 极端 情况 。 这 些 测 试 代 码 会 作为 产品 代码 的 一 部 分 ， 以 自 检 代码 或 
单元 测试 代码 的 形式 与 功能 代码 存储 在 一 起 。 对 于 此 种 类 型 的 测试 ， 最 
合适 且 最 有 资格 去 做 的 人 ， 其 实 就 是 编写 功能 代码 的 人 。 

男 外 一 些 测试 需要 的 知识 在 本 产品 代码 之 外 ， 通 第 都 依赖 于 外 部 基 
础 设施 服务 。 例 如 ， 一 个 测试 用 例 需要 从 远程 数据 源 〈 一 个 数据 库 或 者 
云端 ) 读 取 数 据 ， 这 就 需要 存在 一 个 真实 数据 库 或 模拟 的 数据 库 。 在 过 
去 几 年 中 ， 工 业界 使 用 了 各 种 特定 术语 来 描述 这 些 辅助 设施 ， 包 括 测试 
框架 、 测 试 通用 设施 、 模 拟 设施 和 虚拟 设施 (译注 : test harnesses,test 
infrastructure,mock and fake) 。 在 假想 的 完美 开发 过 程 中 ， 在 你 做 功能 
测试 时 ， 如 果 需 要 ， 这 些 工 具 都 应 该 及 时 出 现在 你 眼前 ， 任 由 你 使 用 
( 记 住 ， 这 是 在 一 个 真正 理想 的 软件 世界 里 ) o 

在 理想 开发 过 程 中 首次 需要 测试 人 员 的 时 刻 即 将 来 临 。 对 于 人 的 思 
维 方式 而 言 ， 在 编写 功能 代码 的 时 候 与 编写 测试 代码 的 时 候 是 迎 然 不 同 
的 ， 这 也 就 需要 去 区 分 功能 开发 人 员 和 测试 开发 人 员 译注: 原文 是 
feature developer and test developer) 。 对 于 功能 代码 而 言 ， 思 维 模式 是 
创建 ， 重 点 在 考虑 用 户 、 使 用 场景 和 数据 流程 上 ， 而 对 于 测试 代码 来 
说 ， 主 要 思路 是 去 破坏 ， 怎 样 写 测试 代码 用 以 扰乱 分 离 用 户 及 其 数据 。 























由 于 我 们 假设 的 前 提 是 在 一 个 童话 般 的 理想 开发 过 程 里 ， 所 以 我 们 或 许 
可 以 分 别 雇佣 不 同 的 开发 工程 师 : 一 个 写 功能 代码 ， 而 男 一 个 思考 如 何 
破坏 这 些 功 能 (译注 : 两 种 开发 工程 师 ， 分 别 是 功能 开发 人 员 和 测试 开 
RAR) 。 

注意 

编写 功能 代码 和 编写 测试 代码 在 思维 方式 上 有 着 很 大 的 不 同 。 

在 这 样 乌托邦 式 〈 译 注 : 乌托邦 是 一 个 理想 的 群体 和 社会 的 构想 ， 
名 字 由 托马斯 :摩尔 的 《乌托邦 》 一 书 中 所 写 的 完全 理性 的 共和 国 “ 乌 托 
邦 ? 而 来 ， 意 指 理想 完美 的 境界 ) 的 理想 开发 过 程 中 ， 众 多 的 功能 开发 
An (译注 : feature developer) 和 测试 开发 人 员 ( 译 注 : test 
developer) 需要 通力 合作 ， 共 同 为 打造 同一 款 产 品 而 努力 。 在 我 们 假想 
的 完美 理想 情况 下 ， 产 品 的 每 一 个 功能 都 对 应 一 个 开发 人 员 ， 整 个 产品 
则 配备 一 定数 量 的 测试 开发 人 员 。 测 试 开发 人 员 通 过 使 用 测试 工具 与 框 
染 帮 助 功 能 开发 人 员 解 决 特定 的 单元 测试 问题 ， 而 这 些 问 题 如 果 只 是 由 
功能 开 太 人 员 独 自 完成 ， 则 会 消耗 挥 他 们 许多 的 精力 。 

功能 开发 人 员 在 编写 功能 代码 的 时 候 ， 测 试 开发 人 员 编 写 测试 代 
码 ， 但 我 们 还 需要 第 三 种 角色 ， 一 个 关心 真正 用 户 的 角色 。 显 然 在 我 们 
理想 化 的 乌托邦 测试 世界 里 ， 这 个 工作 应 该 由 第 三 种 工程 师 来 完成 ， 既 
不 是 功能 开发 人 员 ， 也 不 是 测试 开发 人 员 。 我 们 把 这 个 新 角色 称 为 用 户 
FRAR (EYE: user developer) 。 他 们 需要 解决 的 主要 问题 是 面向 用 
户 的 任务 ， 包 括 用 例 (use case) 、 用 户 故 事 、 用 户 场景 、 探 索 式 测试 
等 。 用 户 开 有 发 人 员 关 心 这 些 功能 模块 如 何 集成 在 一 起 成 为 一 个 完整 的 整 
体 ， 他 们 主要 考虑 系统 级 别 的 问题 ， 通 常情 况 下 都 会 从 用 户 角 度 出 发 ， 
验证 独立 模块 集成 在 一 起 之 后 是 否 对 最 终 用 户 产 生 价 值 。 

这 就 是 我 们 眼中 软件 开发 过 程 的 乌托邦 理想 模式 ， 三 种 开发 角色 在 
可 用 性 和 可 靠 性 方面 分 工 合作 ， 达 到 完美 。 每 个 角色 专门 处 理 重 要 的 事 
情 ， 相 互 之 间 又 可 以 平等 地 合作 。 




















谁 不 想 为 这 样 的 软件 开发 公司 工作 呢 ? 大 家 全 都 要 报名 应 聘 ! 

但 不 笠 的 是 ， 这 样 的 公司 目前 还 不 存在 ，Google 也 只 是 比较 接近 而 
已 。Google 与 其 他 公司 一 样 ， 都 在 尽力 去 尝试 成 为 这 样 的 公司 。 或 许 是 
因为 Google 起 步 较 晚 ， 我 们 有 机 会 从 前 人 那里 吸取 了 很 多 经 验 教 训 。 妆 
前 软件 正经 历 一 个 巨大 的 转弯 ， 从 发 布 周期 需要 以 年 为 单位 的 客户 端 模 
式 问 每 周 、 每 天 ， 其 至 每 小 时 都 会 发 布 的 云端 模式 转变 〈 注 : 一 个 有 趣 
的 事情 需要 说 明 一 下 ， 即 使 是 客户 端 软 件 ，Google 也 襄 欢 常 去 更 新 ， 客 
户 端 使 用 一 个 “自动 更 新 ”的 功能 ， 几 乎 所 有 的 客户 端 应 用 都 有 这 个 功 
fe) ， 而 Google 也 从 这 次 转换 浪潮 之 中 受 葵 良 多 。 在 这 两 种 原因 的 促 
进 下 ，Google 的 软件 开发 流程 与 乌托邦 模式 也 有 了 几 分 相似 。 

Google 的 SWE 就是 功能 开发 人 员 ， 负 贡 客 户 使 用 的 功能 模块 开 
发 。 他 们 编写 功能 代码 及 这 些 功能 的 单元 测试 代码 。 

Google 的 SET 就 是 测试 开发 人 员 ， 部 分 职责 是 在 单元 测试 方面 给 予 
开发 人 员 文 持 ， 男 外 一 部 分 职员 是 为 开发 人 员 提 供 测 试 框架 ， 以 方便 他 
们 编写 中 小 型 测试 ， 用 以 进行 更 多 质量 相关 的 测试 工作 。 

Google 的 TE 就 是 用 户 开 发 人 员 ， 负 贡 从 用 户 的 角度 来 思考 质量 方面 
各 种 问题 。 从 开发 的 角度 来 看 ， 他 们 编写 用 户 使 用 场景 方面 的 自动 化 用 
例 代码 ， 从 产品 的 角度 看 ， 他 们 评估 整体 测试 履 盖 上 度 ， 并 验证 其 他 工程 
师 角 色 在 测试 方面 合作 的 有 效 性 。 这 不 是 乌托邦 ， 这 就 是 Google 实 践 之 
路 上 最 好 的 答 试 ， 前 进 的 道路 上 充满 了 不 可 预料 且 无 路 可 退 。 

注意 

Google 的 SWE 是 功能 开发 人 员 ; Google 的 SET 是 测试 开发 人 员 ; 
Google 的 TE 是 用 户 开 发 人 员 。 

在 这 本 书 里 ， 我 们 将 会 着 重 介 绍 SET 和 TE 这 两 个 角色 的 工作 内 容 ， 
也 会 包含 少量 SWE 的 工作 内 容 ， 作 为 上 述 两 种 角色 的 补充 。 虽 然 SWE 
也 重度 参与 测试 工作 ， 但 一 般 情 况 下 都 是 在 头衔 中 包含 “测试 ”的 工程 师 
的 指导 之 下 完成 的 。 


























2.1 SET 的 工作 


在 任何 软件 公司 创立 的 初期 阶段 ， 通 党 都 没有 专职 的 测试 人 员 《〈 译 
TE: 本 节 标 题 <SET 的 工作 ”， 因 为 原文 为 The Life of an SET. “The Life 
of ”是 Google 内 部 系列 课程 (搜索 和 广告 是 如 何 工 作 的 ) 中 使 用 的 特定 
术语 。 针 对 Nooglers( 新 Google 员 工 ) 的 课程 里 ，Life of a Query 揭 秘 搜索 
query 是 如 何 实现 的 ，Life of a Dollar 揭 秘 广告 系统 的 工作 原理 ) 。 当 然 
那 时 候 也 没有 产品 经 理 、 计 划 人 员 、 发 布 工程 师 、 系 统管 理 员 等 其 他 和 角 
色 。 每 位 员工 都 独自 完成 所 有 工作 。 我 们 也 经 常 想象 Larry 和 Sergey〔 译 
注 : Google 的 早期 创始 人 之 一 ) 在 早期 是 如 何 思考 用 户 使 用 场景 和 设计 
单元 测试 的 样子 。 随 着 Google 的 不 断 成 长 壮大 ， 出 现 了 第 一 个 融合 开发 
角色 和 质量 意识 于 一 身 的 角色 ， 即 SET QE: Patrick Copeland 在 本 书 的 
序 中 已 经 介绍 了 SET 的 出 现 背景 ) 。 











2.1.1 之 和 测试 流程 


在 详细 讲解 SET 工作 流程 之 前 ， 我 们 先 来 了 解 一 下 SET 的 工作 背 
景 ， 这 对 理解 整个 开发 过 程 将 十 分 有 益 。 在 新 产品 的 开发 过 程 中 ，SET 
和 SWE 是 紧密 合作 的 伙伴 ， 他 们 达成 一 致 ， 甚 至 一 些 实际 工作 也 会 有 所 
重 登 。Google 其 实 束 是 这 样 设 计 的 ，Google 认 为 测试 工作 是 由 整个 工程 
团队 负责 ， 而 不 仅仅 单独 由 那些 头衔 上 带 着 “测试 ”的 工程 师 来 负责 。 

工程 师 团队 的 交付 物 就 是 即将 发 布 的 代码 。 代 码 的 组 织 形 式 、 开 发 
过 程 、 维 护 是 日 常 工作 重点 。Google 多 数 代 人 码 存放 在 同一 个 代码 库 中 ， 
并 使 用 统一 的 一 套 工具 。 这 些 工具 和 代码 支撑 着 Google 的 构建 和 友 布 流 
程 。Google 所 有 的 工程 师 无 论 是 什么 角色 ， 对 如 何 使 用 这 些 工具 环境 都 





非常 地 熟练 ， 团 队 成 员 可 以 至 不 费力 地 完成 新 代码 的 入 库 、 提 交 、 执 行 
测试 、 创 建 版 本 等 任务 《前 提 是 角色 有 这 样 的 需求 ) 。 

注意 

工程 师 团 队 的 交付 物 就 是 即将 要 发 布 的 代码 。 代 码 的 组 织 形式 、 开 
发 过 程 、 维 护 是 日 党 的 工作 重点 。 

这 种 单一 的 代码 库 模 式 ， 使 得 工程 师 可 以 很 从 容 地 在 不 同 项 目 之 间 
转换 而 几乎 不 需要 什么 学 习 成 本 。 这 为 工程 师 提 供 了 很 大 便利 ， 这 种 单 
一 的 代码 库 模 式 让 工程 师 从 他 们 进入 项 目 开始 的 第 一 天 起 ， 其 “ 百 分 之 
二 十 的 贡献 ”〈 译 注 :“ 百 分 之 二 十 时 间 ? 是 指 Googler 称 为 的 “业余 项 
目 ”。 这 并 不 是 一 个 炒作 的 概念 ， 而 是 官方 真正 存在 的 ， 人 允许 所 有 
Googler 每 周 投入 一 天 时 间 在 他 的 日 常 工作 之 外 的 项 目 上 。 每 周 四 天 工 
作用 来 赚 取 薪水 ， 剩 下 一 天 用 以 试验 和 创新 。 这 并 不 是 完全 强制 的 ， 之 
前 有 些 Googler 认为 这 个 想法 只 是 一 个 传阅。 根据 我 们 的 真实 经 历 ， 这 
个 概念 是 真正 存在 的 ， 我 们 三 个 都 参与 过 “ 百 分 之 二 十 时 间 ” 项 目 。 实 际 
上 ， 本 书 提 及 的 许多 工具 都 是 * 百 分 之 二 十 ?项 目的 结晶。 在 现实 中 ， 许 
多 Goolers 选 择 把 * 百 分 之 二 十 时 间 ? 投 入 到 新 产品 之 中 ， 特 别 是 一 些 听 起 
来 很 酷 的 产品 ， 很 享受 这 种 工作 模式 ) 极 具 效 率 。 这 也 意味 着 对 于 有 需 
求 的 工程 师 ， 所 有 的 源 代 码 对 他 们 都 是 开放 的 。Web 应 用 的 开发 人 员 无 
须 申请 任何 权限 ， 束 能 查看 所 有 可 以 简化 他 们 工作 的 浏览 器 端 代码 。 他 
们 从 有 经 验 的 工程 师 那 里 学 习 到 在 类 似 场景 下 如 何 编写 代码 ， 他 们 可 以 
重用 一 些 通用 模块 或 详细 的 数据 结构 ， 甚 至 是 重用 一 些 程序 控制 结构 。 
Google 在 代码 库 搜索 方面 也 提供 了 非常 便利 的 功能 。 

公开 的 代码 库 、 和 谐 的 工程 工具 、 公 司 范 围 内 的 资源 共享 ， 成 就 了 
丰富 的 Google 内 部 共享 代码 库 与 公共 服务 。 这 些 共享 的 代码 运行 依赖 于 
Google 的 基础 设施 产品 ， 它 们 在 加 速 项 目 完 成 与 减少 项 目 失 败 上 发 挥 了 
很 大 作用 。 
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公开 的 代码 库 、 和 谐 的 工程 工具 、 公 司 范围 内 的 资源 共享 ， 成 就 了 
丰富 的 Google 内 部 共享 代码 库 与 公共 服务 。 

工程 师 们 对 这 些 共享 的 基础 代码 做 了 特殊 处 理 ， 形 成 了 一 套 不 成 文 
但 却 非 常 重要 的 实践 规则 ， 工 程 师 在 维护 修改 这 些 代 码 的 时 候 都 要 遵守 
这 些 规则 。 

所 有 的 工程 师 必须 复 用 已 经 存在 的 公共 库 ， 除 非 在 项 目 特定 需求 方 
面 有 很 好 的 理由 。 

对 于 公共 的 共享 代码 ， 首 先 要 考虑 的 是 能 否 可 以 容易 地 被 找到 ， 并 
具有 良好 的 可 读 性 。 代 码 必 须 存储 在 代码 库 的 共享 区 域 ， 以 便 得 找 。 由 

于 共享 代码 会 被 不 同 的 工程 师 使 用 ， 这 些 代码 应 该 容易 理解 。 所 有 的 代 
码 都 要 考虑 到 未 来 会 被 其 他 人 阅读 或 修改 。 

公共 代码 必须 尽 可 能 地 被 复 用 且 相 对 独立 。 如 果 一 个 工程 师 提供 的 
服务 被 许多 团队 使 用 ， 这 将 为 他 市 来 很 蜗 的 信誉 。 与 功能 的 复杂 性 或 设 
计 的 巧妙 性 相 比 ， 可 复 用 性 带 来 的 价值 更 大 。 

所 有 依赖 必须 明确 指出 ， 不 可 被 忽视 。 如 果 一 个 项 目 依赖 一 些 公用 
共享 代码 ， 在 项 目 工 程 师 不 知情 的 前 提 下 ， 这 些 共 享 代码 是 不 允许 被 修 
改 的 。 

如 果 一 个 工程 师 对 共享 代码 库 在 某 些 地 方 有 更 好 的 解决 方案 ， 他 需 
要 去 重 构 已 有 的 代码 ， 并 协 助 依赖 在 这 个 公用 代码 库 之 上 的 应 用 项 目 迁 
移 到 新 的 代码 库 上 。 En i 《译注 : 这 
是 Google 经 常 提 及 的 “同僚 奖金 (peer bonus) ”。 任 何 工程 师 如 果 受 到 其 
他 工程 师 正 面 的 影响 ， 束 可 以 送出 “同僚 奖金 "作为 感谢 。 除 此 之 外 ， 经 
理 还 有 权 使 用 其 他 奖励 手段 。 这 样 做 的 目的 就 是 让 这 种 正 同 团队 合作 形 
成 一 种 民 性 循环 ， 并 持续 下 去 。 当 然 ， 另 外 还 有 同事 之 间 私 下 里 的 感 
W) o 

Google 非 常 重视 代码 审核 ， 特 别 是 公共 通用 模块 的 代码 必须 经 过 
核 。 开 发 人 员 必 须 通过 相关 语言 的 可 读 性 审核 。 ee 0 T 


























码 风 格 编写 出 干净 代码 的 记录 之 后 ， 委 员 会 会 授予 这 名 开发 人 员 一 
个 “良好 可 读 性 ”的 证 书 。Google 的 四 大 主要 开发 语言 C++、Java、 
Python 和 和 JavaScript 都 有 可 读 性 方面 的 代码 风格 指责。 

在 共享 代码 库 里 的 代码 ， 对 测试 有 更 高 的 要 求 〈 在 后 面部 分 会 做 讨 
oo ae 

最 小 化 对 平台 的 依赖 。 所 有 工程 师 都 有 一 台 泉 面 工作 机 器 ， 且 操作 
系统 都 尽 可 能 地 与 Google 生 产 环境 的 操作 系统 保持 一 致 。 为 了 减少 对 平 
台 的 依赖 ，Google 对 Linux 发 行 厂 本 的 管理 也 十 分 谨慎 ， 这 样 开 发 人 员 
在 自己 工作 机 器 上 测试 的 结果 ， 与 生产 系统 里 的 测试 结果 会 保持 一 致 。 
从 桌面 到 数据 中 心 ，CPU 和 0OS 的 变化 尽 可 能 小 〈 注 : 唯一 不 在 Google 通 
用 测试 平台 里 的 本 地 测试 实验 室 ， 是 Android 和 Chrome OS。 这 些 类 目 不 
同 的 硬件 必须 在 手边 进行 测试 如 果 一 个 bug 在 测试 机 器 上 出 现 ， 那 么 
在 开发 机 器 上 和 生产 环境 的 机 器 上 也 都 应 该 能 够 复 现 。 

所 有 对 平台 有 依赖 的 代码 ， 都 会 强制 要 求 使 用 公共 的 底层 库 。 维 护 
Linux 发 行 版 本 的 团队 同时 也 在 维护 这 个 底层 平台 相关 的 公共 库 。 还 有 
一 点 ， 对 于 Google 使 用 的 每 个 编程 语言 ， 都 要 求 使 用 统一 的 编译 器 ， 
这 个 编译 器 被 很 好 地 维护 着 ， 人 针对 不 同 的 Linux 发 行 版 本 都 会 有 持续 的 
测试 。 这 样 做 本 号 其 实 并 没有 什么 神奇 之 处 ， 但 限制 运行 环境 可 以 节省 
大 量 下 游 的 测试 工作 ， 也 可 以 避免 许多 与 环境 相关 且 难 以 调试 的 问题 ， 
能 把 开发 人 员 的 重心 转移 到 新 功能 开发 上 。 保 持 人 简单 ， 也 就 相对 会 安 
S. 

注意 

Google 在 平台 方面 有 特定 的 目标 ， 就 是 保持 简单 且 统 一 。 开 发 工作 
机 和 生产 环境 的 机 器 都 保持 统一 的 Linux 发 行 版 本 ; 一 套 集中 控制 的 通 
用 核心 库 ; 一 套 统一 的 通用 代码 、 构 建 和 测试 基础 设施 ， 每 个 核心 语言 
只 有 一 个 编译 器 ; 与 语言 无 关 的 通用 打包 规范 ， 文 化 上 对 这 些 共享 资源 
的 维护 表示 尊重 且 有 激励 。 




















使 用 统一 的 运行 平台 和 相同 的 代码 库 ， 持 续 不 断 地 在 构建 系统 中 打 
& CHE: 打包 是 一 个 过 程 ， 包 括 将 源 代 人 码 编译 成 二 进 制 文件 ， 然 后 再 
把 二 进 制 文件 统一 封装 在 一 个 linux rpm 包 里 面 ) ， 这 可 以 简化 共享 代码 
的 维护 工作 。 构 建 系 统 要 求 使 用 统一 的 打包 规范 ， 这 个 打包 规范 与 项 目 
特定 的 编程 语言 无 关 ， 与 团队 是 否 使 用 C++、Python 或 Java 也 都 无 关 。 
大 家 使 用 同样 的 “构建 文件 ”来 打包 生成 二 进 制 文件 。 

一 个 版 本 在 构建 的 时 候 需 要 指定 构建 目标 ， 这 个 构建 目标 《可 以 是 
公共 库 、 二 进 制 文件 或 测试 套件 ) 由 许多 源 文件 编译 链接 产生 。 下 面 是 
整体 流程 。 

(1) 针对 某 个 服务 ， 在 一 个 或 多 个 源 代码 文件 中 编写 一 类 或 一 系 
列 功能 函数 ， 并 保证 所 有 代码 可 以 编译 通过 。 

(2) 把 这 个 新 服务 的 构建 目标 设 定 为 公共 库 。 

(3) 通过 调用 这 个 库 的 方式 编写 一 套 单元 测试 用 例 ， 把 外 部 重要 
依赖 通过 mock 模拟 实现 。 对 于 需要 关注 的 代码 路 径 ， 使 用 最 常见 的 输 
入 参数 来 验证 。 

(4) 为 单元 测试 创建 一 个 测试 构建 目标 。 

(5) 构建 并 运行 测试 目标 ， 做 适当 的 修改 调整 ， 直 到 所 有 的 测试 
都 运行 成 功 。 

(6) 按 要 求 运行 静态 代码 分 析 工 具 ， 确 保 遵 守 统 一 的 代码 风格 ， 
且 通 过 一 系列 常见 问题 的 静态 扫描 检测 。 

(7) 提交 代码 申请 代码 审核 〈 后 面 对 代 码 审核 会 做 更 多 详细 说 
明 ) ， 根 据 反 馈 再 做 适当 的 修改 ， 然 后 运行 所 有 的 单元 测试 并 保证 顺利 
用 
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产 出 将 是 两 个 配套 的 构建 目标 : 库 构 建 目 标 和 测试 构建 目标 。 库 构 
建 目 标 是 需要 新 发 布 的 公共 库 、 测 试 构建 目标 用 以 验证 新 发 布 的 公共 库 
征 否 满足 需求 。 注 意 : 在 Google 许 多 开 肥 人员 使 用 “测试 驱动 开发 ”的 模 
Th, RAR (3) 会 在 步骤 C1) 和 步骤 (20 之 前 进行 。 





对 于 规模 更 大 的 服务 ， 通 过 链接 编译 持续 新 增 的 代码 ， 构 建 目标 也 
会 逐渐 变 大 ， 和 直到 整个 服务 全 部 构建 完成 。 在 这 个 时 候 ， 会 产生 二 进 制 
构建 目标 ， 其 由 包含 主 入 口 main 函 数 文 件 和 服务 库 链 接 在 一 起 构成 。 现 
在 ， 你 完成 了 一 个 Google 产 品 ， 它 由 三 部 分 组 成 :一 个 经 过 民 好 测试 的 
独立 库 、 一 个 在 可 读 性 与 可 复 用 性 方面 都 不 错 的 公共 服务 库 〈 这 个 服务 
库 中 还 包含 另外 一 套 文 持 库 ， 可 以 用 来 创建 其 他 的 服务 ) .— E PIT 
有 重要 构建 目标 的 单元 测试 套件 。 

一 个 典型 的 Google 产 品 由 许多 服务 组 成 ， 所 有 产品 团队 都 希望 一 个 
SWE 负 责 对 应 一 个 服务 。 这 意味 着 每 个 服务 都 可 以 并 行 地 构建 、 打 包 和 
测试 ， 一 旦 所 有 的 服务 部 完成 了 ， 他 们 会 在 一 个 最 终 的 构建 目标 里 一 起 
集成 。 为 了 保证 单独 的 服务 可 以 并 行 地 开发 ， 服 务 之 间 的 接口 需要 在 项 
目的 早期 融 确 定 下 来 。 这 样 ， 开 发 者 会 依赖 在 协商 好 的 接口 上 ， 而 不 是 
依赖 在 需要 开发 的 特定 床上。 为 了 不 耽搁 服务 级 别 之 间 的 早期 测试 ， 这 
些 接口 一 般 都 不 会 真正 实现 ， 而 只 是 做 一 个 虚假 的 实现 。 

SET $0 Y 并 指出 哪些 地 方 需要 小 型 
测试 。 在 多 个 构建 目标 集成 在 一 起 ， 形 成 规模 更 大 应 用 程序 的 构建 目标 
时 ，SET 需 要 加 速 他 们 的 工作 ， 开 始 做 一 些 更 大 规模 的 集成 测试 。 在 一 
个 单独 的 库 构 建 目 标 中 ， 需 要 运行 几乎 所 有 的 小 型 测试 (由 SWE 编 写 ， 
所 有 支持 这 个 项 目的 SET 都 会 给 予 帮助 )。 妆 构建 目标 日 益 增 大 时 ， 
SET 也 会 参与 到 中 大 型 测试 的 编写 之 中 去 。 

在 构建 目标 的 增长 到 一 定 规模 时 ， 针 对 功能 集成 的 小 型 测试 会 成 为 
回归 测试 的 一 部 分 。 如 果 一 个 测试 用 例 ， 本 应 该 运行 通过 ， 但 如 果 运 行 
失败 ， 也 会 报 一 个 测试 用 例 的 “bug。 这 个 针对 测试 用 例 的 bug 和 针对 功 
能 的 bug 没 有 任何 区 别 。 测 斌 就 是 功能 的 一 部 分 ， 问 题 较 多 的 训 试 就 是 
功能 性 bug， 一 定 要 得 到 修复 。 这 样 才 可 以 保证 新 增 的 功能 不 会 把 已 有 
功能 损坏 掉 ， 任 何 代码 的 修改 都 不 会 导致 测试 本 身 的 失败 。 

在 所 有 的 这 些 活动 中 ，SET 始终 是 核心 参与 者 。 他 们 在 开发 人 员 不 
































知道 哪些 地 方 需要 单元 测试 的 时 候 可 以 明确 指出 。 他 们 同时 编写 许多 
mock 和 fake 工具 。 他 们 甚至 编写 中 大 型 集成 测试 。 好 了 ， 现 在 是 展开 讨 
论 SET 工 作 的 时 候 了 。 





2.1.2 SET 究竟 是 谁 


SET 首先 是 工程 师 角 色 ， 他 使 得 测试 存活 于 先前 讨论 的 所 有 Google 
开发 过 程 之 中 。SET (software engineer in test) 是 软件 测试 开发 工程 
师 。 最 重要 的 一 点 ，SET 是 软件 工程 师 ， 正 如 我 们 招聘 宣传 海报 和 内 部 
晋升 体系 中 所 说 的 那样 ， 是 一 个 100% 的 编码 角色 。 这 种 测试 方式 的 有 
趣 之 处 在 于 它 使 测试 人 员 能 尽早 介入 到 开发 流程 中 去 ， 但 不 是 通过 “ 质 
量 模 型 ?和 “测试 计划 ”的 方式 ， 而 是 通过 参与 设计 和 代码 开发 的 方式 。 

这 会 使 得 功能 的 开发 工程 师 和 测试 的 开发 工程 师 处 于 相同 的 地 位 ，SET 
积极 参与 各 种 测试 ， 使 测试 富有 效率 ， 包 括 手动 测试 和 探索 式 测试 ， 而 
这 些 测试 后 期 会 由 其 他 工程 师 负 责 。 

注意 

测试 是 应 用 产品 的 另外 一 种 功能 ， 而 SET 就 是 这 个 功能 的 负责 人 。 

SET 与 功能 开发 人 员 坐 在 一 起 《实际 上 ， 让 他 们 物理 位 置 坐 在 一 起 
是 也 是 我 们 的 设计 目标 ) 。 这 样 讲 可 能 更 公平 一 些 ， 测 试 也 是 应 用 产品 
的 一 种 功能 特性 ， 而 SET 是 这 个 产品 功能 特性 的 负责 人 。SET 参 与 SWE 
的 代码 评审 ， 反 之 亦 然 。 

在 面试 SET 的 时 候 ， 在 代码 要 求 标准 上 与 SWE 的 招聘 要 求 是 一 样 
的 ， 而 且 增 加 了 一 个 额外 考核 一 一 SET 需 要 了 解 如 何 去 测 试 他 们 编写 的 
代码 。 换 句 话说 ，SWE 和 SET 都 需要 回答 代码 问题 ， 而 且 SET 还 要 求 去 
解答 测试 问题 。 

正如 你 想象 的 那样 ， 找 到 满足 如 此 条 件 的 人 是 非常 困难 的 ， 在 
Google，SET 的 数量 也 相对 比较 少 ， 这 并 不 是 因为 Google 在 生产 率 方 面 




















有 什么 神奇 的 开发 测试 比 要 求 ， 而 是 因为 招聘 到 满足 SET 技能 要 求 的 人 
实在 太 难 了 。SWE 和 SET 这 两 个 角色 比较 相似 ， 在 招聘 方面 这 两 个 群体 
的 要 求 也 类 似 。 假 想 这 样 的 场景 ， 公 司 里 的 开发 人 员 可 以 做 测试 ， 而 测 
试 人 员 可 以 写 代 码 。Google 其 实 还 没有 完全 做 到 这 一 点 ， 或 许 永远 也 做 
不 到 。 这 两 大 群体 之 间 相 互 交 流 学 习 ，SWE 癌 SET 学 习 ，SET 也 在 学 习 
SWE， 正 是 我 们 这 些 最 优秀 的 工程 师 一 起 构成 了 我 们 最 有 效率 的 工程 产 
品 团队 。 








2.1.3 项 目的 早期 阶段 





Google 没 有 规定 SET 何 时 进入 项 目 ， 同 样 也 没有 规定 怎样 的 项 目 才 
算是 “真正 ”的 项 目 。 通 常情 况 下 ， 在 Google 的 产品 项 目 初期 阶段 ， 工 程 
师 只 会 投入 20% 的 时 间 。Gmail 和 Chrome OS 也 是 从 一 个 想法 演变 而 来 ， 
初期 也 并 没有 任何 Google 官 方 资源 的 投入 ， 这 些 资 源 来 源 于 团队 开发 测 
试 成 员 的 业余 时 间 。 事 实 上 也 正如 我 们 的 朋友 Alberto Savoia RKE HIY 
言 的 作者 之 一 ， 详 细 介绍 参见 序 部 分 ) 所 说 的 那样 , “只 有 在 软件 产品 
变 的 重要 的 时 候 质 量 才 显 得 重要 ”。 

许多 创新 的 产品 都 是 来 源 于 团队 20% 的 业余 时 间 。 这 些 时 间 投 入 的 
产品 有 些 慢 慢 地 消失 了 ， 而 另外 一 些 规 模 会 越 做 越 大 ， 有 的 甚至 会 成 为 
Google 的 官方 产品 。 在 这 些 产 品 的 初期 ， 没 有 一 个 会 得 到 测试 资源 。 在 
未 来 可 能 失败 的 项 目 中 投入 测试 资源 来 构建 测试 方面 基础 设施 ， 这 是 一 
种 资源 浪费 。 如 果 项 目 被 取消 了 ， 那 么 这 些 创建 好 的 测试 也 会 晤 无 价 
值 。 

一 个 产品 如 果 在 概念 上 还 没有 完全 确定 成 型 时 就 去 关心 质量 ， 这 束 
是 优先 级 混乱 的 表现 。 许 多 来 源 于 Google 百 分 之 二 十 努力 的 产品 原型 ， 
在 其 以 后 的 dogfood 或 beta 版 本 发 布 时 ， 还 要 经 历 重 新 设计 ， 原 始 代码 保 
留 的 概率 几乎 为 零 。 很 明显 ， 在 试验 初期 阶段 强调 测试 是 一 件 非常 思春 




















的 事情 。 

当然 ， 物 极 必 反 ， 风 险 总 是 相对 的 。 如 果 一 个 产品 太 长 时 间 没 有 测 
试 的 介入 ， 早 期 在 可 测试 性 上 的 槽 糕 设 计 在 后 期 也 很 难 去 做 改进 ， 这 样 
会 导致 自动 化 难以 实施 且 测 试 工具 极 不 稳定 。 在 这 种 情况 下 ， 不 得 不 以 
质量 的 名 义 来 做 重 构 。 这 样 的 质量 “ 债 ” 会 拖 慢 产品 的 发 布 ， 甚 至 长 达 数 
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在 项 目 早期 ，Google 一 般 不 会 让 测试 介入 进来 。 实 际 上 ， 即 使 SET 
在 早期 参与 进来 ， 也 不 是 从 事 测 斌 工作， 而 是 去 做 开发 。 绝 非 有 意 忽 视 
测试 ， 当 然 也 不 是 说 早期 产品 的 质量 就 不 重要 。 这 是 受 Google 非 正式 创 
新 驱动 产品 的 流程 所 约束 。Google 很 少 在 项 目 创建 初期 就 投入 一 大 帮 人 
来 做 计划 (包括 质量 与 测试 计划 〉 ， 然 后 再 让 一 大 群 开发 参与 进来 。 
Google 项 目的 诞生 从 来 没有 如 此 正式 过 。 

Chrome OS 是 一 个 可 以 说 明 问 题 的 典型 例子 。 本 书 的 三 个 作者 都 在 
iE Pam ee LE. HA. FESTUS A Za. RBS 
发 人 员 做 了 原型 ， 且 多 数 实现 都 是 脚本 与 伪 件 〈fake) ， 这 样 他 们 可 以 
拿 着 浏览 器 应 用 模型 做 演示 ， 并 通过 正式 的 立项 批准 。 在 这 些 早期 原型 
阶段 ， 主 要 精力 都 集中 在 如 何 试 验 并 证 明 这 些 想法 的 可 行 性 上 。 考 虑 到 
项 目 还 没有 正式 批准 ， 且 所 有 的 演示 脚本 最 终 都 会 被 CHARD E A 
换 ， 如 果 在 早期 投入 大 量 测试 和 可 测试 性 方面 努力 ， 其 实 没 有 太 大 的 实 
用 价值 。 为 了 演示 而 使 用 脚本 搭建 的 产品 ， 一 旦 得 到 正式 批准 立项 ， 其 
开发 总 监 就 会 找到 工程 生产 力 团 队 ， 寻 求 测试 资源 。 

Google 内 部 其 实 也 并 存 着 不 同 的 文化 。 没 有 项 目 会 认为 如 果 得 不 到 
测试 资源 ， 他 们 的 产品 就 将 不 复 存 在 。 开 发 团队 在 寻求 测试 帮助 的 时 
修 ， 有 义务 让 测试 人 员 相 信 他 们 的 产品 是 令 人 兴奋 且 并 充满 希望 的 。 在 
Chrome OS 的 开发 总 监 给 我 们 介绍 他 们 项 目 、 进 度 和 发 布 计划 时 ， 我 们 
也 要 求 提供 当前 已 有 的 测 斌 状态、 期望 的 单元 测试 履 盖 率 水 平 、 以 及 明 
确 在 发 布 过程 中 各 上 日 承担 的 责任 。 在 项 目 还 是 概念 阶段 的 时 候 ， 测 试 人 
































员 不 会 参与 进来 ， 而 项 目 一 旦 真正 立项 ， 我 们 就 要 在 这 些 测试 是 如 何 执 
行 的 方面 发 挥 我 们 的 影响 力 。 

注意 

没有 项 目 会 认为 如 果 得 不 到 测试 资源 ， 他 们 的 产品 就 将 不 复 存 在 。 
开 肥 团队 在 寻求 测试 帮助 的 时 候 ， 有 义务 让 测试 人 员 相 信 他 们 的 严 品 古 
令 人 兴奋 且 并 充满 希望 的 。 








SWE 会 深入 他 们 自己 编写 的 那 部 分 代码 之 中 ， 通 常 这 部 分 代码 只 是 
某 个 单一 功能 的 模块 甚至 更 小 范围 的 代码 。SWE 一 般 仅 在 目 己 的 模块 领 
域 里 提供 最 优 方案 ， 但 如 果 从 整个 产品 的 角度 来 看 ， 视 野 会 显得 略微 狭 
宕 。 一 个 好 的 SET 正好 可 以 弥补 这 一 点 ， 不 仅 要 具有 更 宽广 的 整体 产品 
视野 ， 而 且 在 产品 的 整个 生命 周期 里 对 产品 及 功能 特性 做 充分 理解 ， 许 
多 SWE 来 往 罕 梭 于 不 同 产品 ， 但 产品 的 生命 存活 期 比 SWE 竺 在 产品 里 
的 时 间 要 长 久 得 多 。 

像 Gmail 或 Chrome 这 样 的 产品 注定 要 经 历 许多 版 本 ， 并 消耗 数 以 
百 计 的 开发 人 员 为 之 工作 。 如 果 一 个 SWE 在 某 个 产品 的 第 三 个 版 本 研发 
时 加 入 ， 这 时 这 个 产品 已 经 有 良好 的 文档 、 不 错 的 可 测试 性 、 运 行 厦 稳 
定 的 自动 化 测试 、 清 晰 的 代码 提交 流程 ， 这 些 现象 都 在 说 明 这 个 产品 早 
期 已 有 出 色 的 SET 在 为 之 工作 。 

在 整个 项 目 生命 周期 里 ， 功 能 的 实现 、 版 本 的 发 布 、 补 丁 的 创建 、 
为 改进 而 做 的 重 构 在 不 断 地 发 生 ， 你 很 难说 清楚 什么 时 候 项 目 结束 或 一 
个 项 目 是 否 真 的 已 经 结束 。 但 所 有 软件 项 目 都 有 明确 的 开始 时 间 。 在 早 
期 阶段 ， 我 们 常 去 改变 我 们 的 目标 。 我 们 做 计划 ， 并 和 演 试 把 东西 做 出 
来 。 我 们 尝试 去 文档 化 我 们 将 要 去 做 的 事情 。 我 们 尝试 去 保证 我 们 早期 
做 的 决定 长 期 看 来 也 是 正确 的 。 


























我 们 在 编码 之 前 做 计划 、 试 验 、 文 档 ， 这 部 分 工作 量 取 决 于 我 们 对 
未 来 产品 的 信心 。 我 们 不 想 在 项 目 初 期 做 少量 的 计划 ， 而 到 项 目 后 期 却 
发 现 这 个 计划 是 值得 花费 更 多 精力 去 做 的 。 同 样 ， 我 们 也 不 希望 在 早期 
计划 上 投入 数 周 时 间 ， 而 之 后 却 发 现 这 个 世界 已 经 改变 了 ， 甚 至 与 之 前 
我 们 想象 的 世界 完全 不 同 了 。 某 种 程度 上 来 说 ， 我 们 早期 在 文档 结构 和 
过 程 中 的 处 理 方式 也 是 明智 的 。 总 而 言 之 ， 做 多 少 和 怎样 做 比较 合适 ， 
由 创建 项 目的 工程 师 来 做 最 终 决 定 。 

Google 产品 团队 最 初 是 由 一 个 技术 负责 人 “(tech lead) 和 一 个 或 更 
多 的 项 目 发 起 人 组 成 。 在 Google， 技 术 负 责 人 这 个 非 正式 的 岗位 一 般 由 
工程 师 担 任 ， 负 责 设 定 技术 方向 、 开 展 合 作 、 充 当 与 其 他 团队 沟通 的 项 
目 接口 人 。 他 知道 关于 项 目的 任何 问题 ， 或 者 能 够 指出 谁 知道 这 些 问 题 
的 细节 。 技 术 负 责 人 通常 是 一 名 SWE， 或 者 由 一 名 具备 SWE 能 力 的 工 
程 师 来 担任 。 

项 目的 技术 负责 人 和 发 起 人 要 做 的 第 一 件 事 就 是 设计 文档 (后 文 会 
做 介绍 ) 。 随 着 文档 的 不 断 完善 ， 就 需要 不 同 专业 类 型 的 工程 师 角 色 投 
入 到 项 目 中 去 。 许 多 技术 负责 人 期 望 SET 在 早期 就 能 参与 项 目 ， 即 便 那 
时 SET 资源 还 相对 稀缺 。 




















2.1.5 设计 文档 


所 有 Google 项 目 都 有 设计 文档 。 这 是 一 个 动态 的 文档 ， 随 着 项 目的 
演化 也 在 不 断 地 保持 更 新 。 最 早期 的 项 目 设计 文档 ， 主 要 包括 项 目的 目 
标 、 背 景 、 团 队 成 员 、 系 统 设计 。 在 初期 阶段 ， 团 队 成 员 一 起 协同 完成 
设计 文档 的 不 同 部 分 。 对 于 一 些 规模 足够 大 的 项 目 来 说 ， 需 要 针对 主要 
子 系统 也 创建 相应 的 设计 文档 ， 并 在 项 目 设计 文档 中 增加 子 系统 设计 文 
档 的 链接 。 在 初期 版 本 完成 后 ， 里 面 会 宫 括 所 有 将 来 需要 完成 的 工作 清 
单 ， 这 也 可 以 作为 项 目前 进 的 路 标 。 从 这 一 点 上 讲 ， 设 计 文 档 必 须要 经 








过 相关 技术 负责 人 的 审核 。 在 项 目 设计 文档 得 到 足够 的 评审 与 反馈 之 
后 ， 初 期 版 本 的 设计 文档 就 接近 尾声 了 ， 接 下 来 项 目 就 正式 进入 实施 阶 
Et. 

作为 SET， 比 较 幸 运 的 是 在 初期 阶段 就 加 入 了 项 目 ， 会 有 一 些 重要 
且 有 影响 力 的 工作 急需 完成 。 如 果 能 够 合理 地 谋划 策略 ， 我 们 在 加 速 项 
目 进 度 的 同时 ， 也 可 以 做 到 简化 项 目 相 关 人 员 的 工作 。 实 际 上 ， 作 为 工 
程 师 ，SET 在 团队 中 有 一 个 巨大 的 优势 ， 就 是 拥有 产品 方面 最 广阔 的 视 
野 。 一 个 好 的 SET 会 把 非常 专业 的 广阔 视野 转化 成 影响 力 ， 在 开发 人 员 
所 编写 的 代码 上 产生 深远 的 影响 力 。 通 常 来 说 ， 代 码 复 用 和 模块 交互 方 
面 的 设计 会 由 SET 来 做 ， 而 不 是 SWE。 后 面 会 着 重 介绍 SET 在 项 目的 初 
期 阶段 是 如 何 发 挥 作 用 的 。 

注意 

在 设计 阶段 ，SET 在 推进 项 目的 同时 也 可 以 简化 相关 项 目 成 员 的 工 
TES 

如 果 有 另外 一 双眼 睛 来 帮助 审核 你 的 工作 ， 这 是 无 疑 会 很 有 帮助 且 
令 人 期 待 。SWE 就 渴望 得 到 来 自 SET 的 这 种 帮助 与 反馈 。 在 SWE 完 成 设 
计 文 档 的 各 个 部 分 之 后 ， 需 要 发 送 给 更 大 范围 人 去 做 正式 审核 ， 在 这 之 
前 他 们 希望 得 到 SET 的 帮助 。 一 个 优秀 的 SET 对 这 样 的 文档 审核 也 会 比 
较 期 待 ， 乐 意 去 投入 他 的 时 间 ， 在 SET 审 阅 过 程 中 ， 会 针对 质量 和 可 靠 
性 方面 增加 一 些 必要 的 内 容 。 下 面 是 我 们 为 什么 这 么 做 的 几 个 原因 。 

SET 需要 熟悉 了 解 所 负责 的 系统 设计 《阅读 所 有 的 设计 文档 是 一 个 
途径 ) , SET 和 SWE 都 期 望 如 此 。 

SET 早期 提出 的 建议 会 反馈 在 文档 和 代码 里 ， 这 样 也 增加 了 SET 的 
整体 影响 力 。 

作为 第 一 个 审阅 所 有 设计 文档 的 人 《也 因此 了 解 所 有 迭代 过 程 ) ， 
SET 对 项 目的 整体 了 解 程度 超过 了 技术 负责 

对 于 SET 来 说 ， 这 也 是 一 个 非常 好 的 机 会 ， 可 以 在 项 目 初 期 就 与 相 























应 开发 工程 师 一 起 建立 民 好 的 工作 关系 。 

审阅 设计 文档 的 时 候 应 该 有 一 定 的 目的 性 ， 而 不 是 像 读 报纸 那样 随 
便 看 两 眼 就 算 了 。 优 秀 的 SET 在 审 疯 过 程 中 始终 保持 强烈 的 目的 性 。 下 
面 是 一 些 我 们 推荐 的 一 些 要 点 。 

完整 性 : 找 出 文档 中 残缺 不 全 或 一 些 需要 特殊 背景 知识 的 地 方 。 通 
常情 况 下 团队 里 没 人 会 了 解 这 些 知 识 ， 特 别 是 对 新 人 而 言 。 鼓 励 文档 作 
者 在 这 方面 添加 更 多 细节 ， 或 增加 一 些 外 部 文档 链接 ， 用 以 补充 这 部 分 
背景 知识 。 

正确 性 : 看 一 下 是 否 有 语法 、 拼 写 、 标 点 符号 等 方面 的 错误 ， 这 一 
般 是 马虎 大 意 造 成 的 ， 并 不 意味 着 他 们 以 后 编写 的 代码 也 是 这 样 。 但 也 
不 能 为 这 种 错误 而 破坏 规矩 。 

一 致 性 : 确保 配 图 和 文字 描述 一 致 。 确 保 文 档 中 没有 出 现 与 其 他 文 
档 中 截然 相反 的 观点 和 主张 。 

wit: 文档 中 的 一 些 设计 要 经 过 深思 熟 虑 。 考 虑 到 可 用 的 资源 ， 目 
标 是 否 可 以 顺利 达成 ? 要 使 用 何 种 基础 的 技术 框架 〈 读 一 读 框架 文档 并 
了 解 他 们 的 不 足 ) ? 期 望 的 设计 在 框架 方面 使 用 方法 上 是 售 正 确 ? 设计 
是 否 太 过 复杂 ? 有 可 能 简化 吗 ? 还 是 太 简 单 了 ? 这 个 设计 还 需要 增加 什 
么 内 容 ? 

接口 与 协议 : 文档 中 是 否 对 所 使 用 的 协议 有 清晰 的 定义 ? 是 否 完整 
地 描述 了 产品 对 外 的 接口 与 协议 ?这些 接口 协议 的 实现 是 否 与 他 们 期 望 
的 那样 一 致 ? 对 于 其 他 的 Google 产 品 是 否 满足 统一 的 标准 ? I T 
发 人 员 目 定义 Protocol buffer 数 据 格式 (后 面 会 讨论 Protocol buffer) ? 

测试 : 系统 或 文档 中 描述 的 整套 系统 的 可 测试 性 怎样 ? 是否 需要 新 
增 测试 钩子 〈 译 注 : testing hook， 这 里 指 为 了 测试 而 增加 一 些 接口 ， 用 
以 显示 系统 内 部 状态 信息 ) ?如 果 需 要 ， 确 保 他 们 也 被 添加 到 文档 之 
中 。 系 统 的 设计 是 否 考虑 到 易 测 试 性 ， 而 为 之 也 做 了 一 些 调整 ? 是否 
以 使 用 已 有 的 测试 框架 ? 预 估 一 下 在 测试 方面 我 们 都 需要 做 哪些 工作 ， 








并 把 这 部 分 内 容 也 增加 到 设计 文档 中 去 。 

注意 

审阅 设计 文档 的 时 候 要 ， 有 具备 一 定 的 目的 性 ， 需 要 完成 特定 的 目 
标 ， 而 不 是 像 读 报纸 那样 随意 看 两 眼 。 

在 SET 与 相应 的 SWE 一 起 沟通 文档 的 审阅 结果 时 ， 关 于 测试 的 工作 
量 以 及 各 个 角色 之 间 如 何 共同 参与 测试 ， 会 有 一 个 比较 正式 的 讨论 。 这 
古 一 个 绝 佳 的 时 机 ， 可 以 了 解 到 开发 在 单元 测试 方面 的 目标 ， 以 及 如 果 
想 打 造 一 球 经 过 民 好 测试 的 产品 ， 团 队 成 员 需 要 遵守 哪些 最 佳 实践 。 当 
这 种 讨论 以 互 帮 互 助 的 形式 开始 出 现时 ， 我 们 的 工作 就 开始 逐步 进入 正 
轨 了 。 





2.1.6 £2 L1 i i» 


在 Google， 由 于 接口 协议 与 编写 代码 相关 ， 所 以 对 于 开发 人 员 来 
说 ， 文 档 化 这 部 分 是 比较 轻松 的 事情 。Google protocol ”buffer 语 言 
( 注 : Google protocol buffers 是 开源 的 ， 参 见 
http://code.google.com/apis/protocolbuffers) 与 编码 语言 和 平台 无 关 ， 对 
结构 化 数据 而 言 具 有 可 扩展 性 ， 就 像 XML 一 样 ， 但 更 小 、 更 快 、 更 简 
单 。 开 发 人 员 使 用 protocol buffer 的 描述 语言 来 定义 数据 结构 ， 然 后 使 用 
目 动 生成 的 源 代码 ， 从 各 种 数据 流 中 来 读 或 写 这 些 结构 化 的 数据 ， 使 用 
任何 编程 语言 〈Java,C++ 或 python) 皆 可 。 对 于 新 项 目 而 言 ，protocol 
buffer 源 码 通常 是 第 一 份 源 代 码 。 在 系统 实现 之 后 ， 如 果 设 计 文 档 中 仍 
然 使 用 protocol buffers 来 描述 系统 是 如 何 工 作 的 ， 这 比较 罕见 。 

SET 会 对 protocol “buffer 代码 做 比较 系统 全 面 的 审查 ， 因 为 protocol 
buffer 定 义 的 接口 与 协议 的 代码 实现 是 要 由 SET 来 完成 的 。 没 错 ，SET 是 
第 一 个 实现 所 有 接口 和 协议 的 人 。 在 系统 真正 搭建 起 来 之 前 ， 集 成 测试 
的 运行 依赖 这 些 接口 实现 。 为 了 能 够 尽早 地 开始 做 集成 测试 ，SET 针 对 











各 个 模块 的 依赖 提供 了 mock 或 fake 的 实现 。 虽 然 功能 模块 代码 还 没有 实 
现 ， 集 成 测试 的 代码 就 已 经 可 以 开始 编号 了 。 在 这 个 时 候 ， 如 果 集 成 测 
试 代码 可 以 运行 起 来 ， 那 将 会 更 有 价值 。 另 外 ， 在 任何 阶段 ， 集 成 测试 
总 是 依赖 mock 和 fake。 因 为 有 了 和 它们， 一些 依赖 服务 的 期 望 错误 场景 
和 条 件 异 常 ， 会 比较 容易 产生 。 

注意 

为 了 能 够 尽早 可 以 运行 集成 测试 ， 针 对 依赖 服务 ，SET 提供 了 
mock 与 fake。 





2.1.7 目 动 化 计 蕊 





SET 时 间 有 限 且 需要 做 的 事情 太 多 ， 尽 早 地 提供 一 个 可 实施 的 目 动 
化 测试 计划 是 一 个 很 好 的 解决 方法 。 试 图 在 一 个 测试 套件 中 自动 化 所 有 
端 到 剖 的 测试 用 例 ， 这 是 一 个 常见 的 错误 。 没 有 SWE 会 被 这 样 一 个 无 所 
不 包 的 设计 所 吸引 并 感 兴趣 ，SET 也 就 得 不 到 SWE 的 什么 帮助 。 如 果 
SET 希望 能 从 SWE 那 里 得 到 帮忙 ， 他 的 目 动 化 计划 就 必须 合情合理 且 有 
影响 力 。 目 动 化 上 投入 的 越 多 ， 维 护 的 成 本 也 就 越 大 。 在 系统 升级 变化 
时 ， 目 动 化 也 会 更 加 不 稳定 。 规 模 更 小 且 目 的 性 更 强 的 目 动 化 计划 ， 并 
存在 可 以 提供 帮助 的 测试 框架 ， 这 些 会 吸引 SWE 一 起 参与 测试 。 

在 端 到 端的 目 动 化 测试 上 过 上 度 投 入 ， 常 常会 把 你 与 产品 的 特定 功能 
设计 绑 定 在 一 起 ， 这 部 分 测试 在 整个 产品 稳定 之 前 都 不 会 特别 有 用 。 在 
产品 完成 之 后 ， 这 个 时 候 如 果 去 修改 设计 就 已 经 太 晚 了 了。 所 以 ， 这 个 时 
刻 从 测试 中 得 到 的 任何 反馈 也 将 变 得 坚 无 意义 。SET 的 时 间 ， 本 应 投入 
在 提高 质量 方面 ， 却 白白 地 论 费 在 维护 这 些 不 稳定 的 端 到 端 测 试 套件 
T 

注意 


在 端 到 端 自动 化 测试 上 过 度 投 入 ， 常 常会 把 你 与 产品 的 特定 功能 设 











计 绑 定 在 一 起 。 

在 Google，SET 遵 循 了 下 面 的 方法 。 

我 们 首先 把 容易 出 错 的 接口 做 隔离 ， 并 针对 它们 创建 ”mock 和 
fake〈 在 之 前 的 章节 中 做 过 介绍 ) ， 这 样 我 们 可 以 控制 这 些 接口 之 间 的 
交互 ， 人 确保 民 好 的 测试 履 新 率 。 

接 下 来 构建 一 个 轻 量 级 的 自动 化 框架 ， 控 制 mock 系统 的 创建 和 执 
行 。 这 样 的 话 ， 写 代码 的 SWE 可 以 使 用 这 些 mock 接 口 来 做 一 个 私有 构 
建 。 在 他 们 把 修改 的 代码 提交 到 代码 服务 器 之 前 运行 相应 的 自动 化 测 
试 ， 可 以 确保 只 有 经 过 良好 测试 的 代码 才能 被 提交 到 代码 库 中 。 这 是 自 
动 化 测试 擅长 的 地 方 ， 保 证 生态 系统 远离 糟糕 代码 ， 并 确保 代码 库 永远 
处 于 一 个 时 刻 干 痒 的 状态 。 

SET 除 了 在 这 个 计划 中 涵盖 自动 化 (mock、fake 和 框架 ) 之 外 ， 还 
要 包括 如 何 公开 产品 质量 方面 的 信息 给 所 有 关心 的 人 。 在 Google，SET 
使 用 报表 和 仪表 盘 (译注 : dashboard) 来 展示 收集 到 的 测试 结果 以 及 测 
试 进度 。 通 过 将 整个 过 程 简 化 和 信息 公开 透明 化 ， 获 取 高 质量 代码 的 概 
率 会 大 大 增加 。 








2.1.8 可 测试 性 


在 产品 开发 过 程 中 ，SWE 和 SET 紧密 地 工作 在 一 起 。SWE 编 写 产 品 
代码 并 测试 这 些 代码 。SET 编写 测试 框架 ， 为 SWE 编写 测试 代码 方面 
提供 帮助 。 另 外 ，SET 也 做 一 些 维护 工作 。 质 量 责任 由 SWE 和 SET 共 同 
承担 。 

SET 的 第 一 要 务 就 是 可 测试 性 。SET 在 扮演 一 个 质量 顾问 的 角色 ， 
提供 程序 结构 和 代码 风格 方面 的 建议 给 开发 人 员 ， 这 样 开发 人 员 可 以 更 
好 地 做 单元 测试 。 同 时 提供 测试 框架 方面 的 建议 ， 使 得 开发 人 员 能 够 在 
这 些 框架 的 基础 上 自己 写 测 试 。 后 面 我 们 再 讨论 框架 ， 在 这 里 让 我 们 首 


先 说 一 下 Google 的 代码 流程 。 

作为 开发 人 员 ， 一 个 基本 的 要 求 就 是 有 能 力 做 代码 审查 。 代 码 审查 
需要 工具 和 文化 方面 的 文 持 ， 这 个 文化 习俗 来 源 于 开源 社区 中 “提交 
者 ”的 概念 ， 只 有 被 证 明 是 值得 信赖 的 开发 者 之 后 ， 才 具有 往 代 码 库 中 
提交 代码 的 资格 。 

注意 

为 了 使 SET 也 成 为 源码 的 拥有 者 之 一 ，Google 把 代码 审查 作为 开发 
流程 的 中 心 。 相 比较 编写 代码 而 言 ， 代 码 审 查 更 值得 炫 滩 。 

在 Google， 每 个 人 都 是 代码 提交 者 。 但 是 ， 我 们 使 用 了 另外 一 个 
词 “可 读 性 ”来 区 分 有 已 被 证 明 有 资格 的 提交 者 和 新 开发 人 员 。 下 面 介 绍 
整个 流程 如 何 工作 的 。 

代码 以 一 个 被 称 为 “变更 列表 ”( 译 注 : change list， 下 文 简写 CL) 
的 单元 被 编写 和 封装 起 来 。CL 在 编码 结束 之 后 会 提交 审查 ， 其 中 使 用 
一 个 Google 内 部 工具 Mondrian〔 以 一 个 荷兰 抽象 派 画 家 为 名 ) 。 
Mondrian 会 把 需要 审查 的 代码 发 送 给 具有 审阅 资格 的 SWE 或 SET， 并 最 
终 通过 代码 审查 (译注 : 在 Google App Engine 上 运行 着 一 个 开源 版 本 的 
Mondrian， 参 见 http://code.google.com/p/rietveld/) . 

CL 可 以 是 一 段 新 代 人 码 ， 也 可 以 是 对 已 有 代码 的 修改 ， 或 是 缺陷 修 
复 等 。CL 代 码 的 大 小 从 几 行 到 几 百 行 不 等 ， 一般 审查 者 都 会 要 求 把 数 
量 较 大 的 CL 分 解 成 数量 较 小 的 几 个 CL。 新 加 入 Google 的 SWE 和 SET 都 
需要 通过 持续 提交 优秀 的 CL， 来 获取 一 个 “可 读 性 ”方面 的 代码 审查 资 
格 。 可 读 性 与 编程 语言 有 关 ，Google 内 部 主要 的 编程 语言 C++、Java、 
Python 和 JavaScript 都 有 不 同 的 可 读 性 要 求 。 有 经 验 和 值得 信赖 的 开发 
人 员 ， 会 得 到 “可 读 性 ?的 资格 ， 大 家 同心 协力 确保 整个 代码 库 看 起 来 像 
是 由 一 个 人 编写 的 一 样 GE: Google 的 C++ 代码 风格 指南 是 对 外 公开 
的 ， 参 见 http://google-style 




















guide.googlecode.com/svn/trunk/cppguide.xml) . 


fr CL 提交 审查 之 前 ， 会 经 过 一 系列 的 自动 化 检查 。 这 种 自动 化 静 
态 检 查 所 使 用 的 规则 包含 一 些 简 单 的 确认 ， 例 如 是 否 遵 循 Google 的 代码 
风格 指南 、 提 交 CL 相 关 的 测试 用 例 是 否 执 行 通过 【原则 上 所 有 的 测试 
必须 全 部 通过 ) 等 。CL 里 面 一 般 总 是 包含 针对 这 个 CL 的 测试 代码 ， 测 
试 代码 总 是 和 功能 代码 在 一 起 。 在 检查 完成 之 后 ，Mondrian 会 给 相应 的 
CL 审阅 者 发 送 一 封包 含 这 个 CL 链接 的 通知 邮件 。 随 后 审阅 者 会 进行 代 
人 码 审 查 ， 并 把 修改 建议 发 回 给 SWE 去 处 理 。 这 个 过 程 会 反复 进行 ， 直 到 
提交 者 和 审阅 者 都 满意 为 止 。 

提交 队列 (译注 : submit queue) 的 主要 功能 是 保持 “绿色 ”的 构 
建 ， 这 意味 着 所 有 测试 必须 全 部 通过 。 这 是 构建 系统 和 版 本 控制 系统 之 
间 的 最 后 一 道 防线 。 通 过 在 干净 环境 中 编译 代码 并 运行 测试 ， 提 交 队 列 
系统 可 以 捕获 在 开发 机 器 上 无 法 发 现 的 环境 错误 ， 但 这 会 导致 构建 失 
败 ， 甚 至 是 导致 版 本 控制 系统 中 的 代码 处 于 不 可 编译 的 状态 。 

规模 较 大 的 团队 可 以 利用 提交 队列 在 同一 个 代码 分 文 上 进行 开发 。 
如 有 果 没 有 提交 队列 ， 通 香 在 代码 集成 或 每 轮 测试 时 都 会 把 代码 冻结 ， 使 
用 提交 队列 惑 可 以 避免 这 个 问题 。 在 这 种 模式 下 ， 提 交 队 列 可 以 使 得 规 
模 较 大 团队 残 像 小 团队 一 样 ， 高 效 且 独立 。 由 于 这 样 增加 了 开发 提交 代 
码 的 频率 ， 势 必 给 SET 的 工作 带 来 了 较 大 难度 ， 这 可 能 是 唯一 的 整 端 。 




















提交 队列 和 持续 集成 构建 由 来 


by Jeff Carollo 

在 Google 规 模 还 很 小 的 初期 ， 有 一 个 约定 的 习俗 就 是 在 代码 提交 之 
前 需要 运行 所 有 已 经 编写 好 的 单元 测试 ， 用 以 验证 这 次 代码 变更 的 质量 
是 合 满 足 要 求 。 测 试 运行 失败 的 情况 常 第 会 及 生 ， 大 家 不 得 不 花 时 间 去 
找到 问题 的 根源 并 加 以 修复 。 

公司 在 不 断 变 大 ， 为 了 市 省 资源 ， 高 质量 的 公共 基础 库 被 工程 师 们 

















编号 实现 、 维 护 和 共用 。 且 随 着 时 间 的 变化 ， 这 些 核 心 公共 代码 在 数量 
上 、 规 模 上 和 复杂 性 上 都 有 显著 的 增长 。 在 这 个 时 候 ， 仅 仅 依 靠 单 元 测 
试 就 不 够 了 ， 在 一 些 与 外 部 公共 库 或 框架 有 交互 的 地 方 还 需要 依赖 集成 
测试 的 验证 。 此 时 Google 也 发 现 许 多 测试 运行 失败 的 原因 都 是 由 于 其 外 
部 依赖 所 导致 。 但 在 没有 代码 提交 之 前 ， 这 些 测试 不 会 被 运行 ， 即 使 它 
们 已 经 失败 数 天 之 久 也 无 人 知晓 。 

这 个 时 候 “ 单 元 测试 展板 (Unit Test Dashboard) ”出 现 了 。 这 个 系 
统 把 所 有 公司 代码 库 的 一 级 目录 都 作为 一 个 “项 目 ”， 当然 也 允许 自己 增 
加 自 定 义 的 “项 目 ”， 只 要 提供 一 系列 构建 和 测试 维护 人 员 信 息 即 可 。 这 
个 系统 会 每 日 运行 所 有 项 目的 测试 。 在 展板 上 展示 一 个 报表 ， 记 录 着 每 
个 项 目的 测试 通过 与 失败 比率 。 每 日 运行 失败 的 项 目 维护 者 也 会 收 到 一 
封 相 应 的 通知 邮件 ， 虽 然 测 试 运行 失败 通 弟 不 会 持续 太 长 的 时 间 ， 但 依 
然 还 会 有 失败 的 情况 发 生 。 

有 些 团队 希望 能 够 尽早 知道 哪些 代码 变更 可 能 引起 构建 失败 。 每 24 
小 时 才 运 行 一 次 所 有 测试 已 经 不 能 满足 要 求 。 个 别 团队 就 开始 去 编写 持 
续 构 建 脚 本 ， 在 专用 机 器 上 持续 不 断 地 构建 并 运行 相应 的 单元 测试 与 集 
成 测试 。 后 来 发 现 这 个 系统 具有 一 定 的 通用 性 ， 也 可 以 用 来 文 持 其 他 团 
KA, Chris Lopez 和 Jay Corbett 束 一 起 编写 了 “Chris/Jay 持 续 构 建 ”工具 ， 其 
他 团队 通过 注册 一 台 机 器 、 填 写 一 个 配置 文件 和 运行 一 个 脚本 ， 束 能 够 
运行 自己 的 持续 集成 了 。 这 很 快 变 成 了 一 个 标准 做 法 ， 后 来 几乎 所 有 的 
Google 项 目 都 在 使 用 Chris/Jay 持 续 构 建 工 具 。 在 测试 运行 失败 之 后 ， 
会 给 最 近 一 次 提 交 代码 的 开 发 人 员 发 送 一 封 通 知 邮件 ， 因 为 他 们 极 有 可 
能 是 导致 测试 失败 的 元 凶 。 男 外 ，Chris/Jay 持 续 构建 工具 找 出 了 “黄金 
变更 列表 *， 这 些 代码 变更 在 版 本 控制 系统 上 得 到 确认 ， 所 有 相关 的 测 
试 和 构建 都 已 经 成 功 通过 。 这 样 开 发 可 以 得 到 干净 的 代码 版 本 而 不 受到 
最 近 提 区 代码 的 影响 ， 最 近 提 交 的 代码 可 能 会 导致 构建 失败 〈 对 于 挑选 
用 于 发 布 的 版 本 会 非常 有 帮助 ) 。 























还 有 部 分 团队 希望 能 够 更 早 地 捕获 引起 构建 失败 的 代码 变更 。 随 着 
项 目 规模 和 复杂 度 的 上 升 ， 一旦 发 生 构 建 失败 就 已 经 有 些 晚 了 ， 束 需要 
花费 很 大 代价 去 修复 。 出 于 保护 持续 构建 系统 的 目的 ， 提 交 队 列 就 出 现 
了 。 在 早期 实现 版 本 中 ， 所 有 等 待 提交 的 CL 必须 逐个 排队 ， 等 待 测 
试 ， 如 果 测 试 通过 则 证 明 这 个 CL 是 没有 问题 的 ， 可 以 提交 进 代码 库 
(因此 也 需要 排队 ) 。 当 有 大 量 长 时 间 运 行 的 测试 需要 执行 时 ，CL 在 
发 送 给 提交 队列 和 CL 真 正 被 提交 到 源码 库 之 间 可 能 需要 消耗 数 小 时 ， 
这 确实 也 很 常见 。 在 后 来 的 实现 中 ， 人 允许 所 有 等 待 的 CL 在 互相 隔离 的 
前 提 下 ， 并 发 地 构建 并 运行 测试 。 这 样 的 改进 可 能 会 引起 一 些 竞争 条 件 
的 出 现 ， 但 实际 上 很 少 发 生 ， 他 们 最 终 也 都 会 被 持续 构建 系统 所 捕获 。 
快速 地 提交 代码 ， 省 下 的 时 间 远 远大 于 解决 偶尔 需要 修复 持续 构建 错误 
的 时 间 。 多 数 Google 大 型 项 目 都 在 使 用 提交 队列 ， 项 目 成 员 会 轮 沈 
做 “构建 警察 ”， 构 建 警察 的 职责 是 快速 啊 应 处 理 任 何在 提交 队列 和 持续 
构建 系统 中 过 到 的 问题 。 

整套 系统 (单元 测试 展板 、Chris/Jay 持 续 构 建 工 具 和 提交 队列 ) 在 
Google 存 活 了 相当 长 的 时 间 〈 数 以 年 计 ) 。 它 们 只 需 很 少 的 搭建 时 间 成 
本 和 不 同 程度 的 维护 工作 ， 但 却 给 团队 提供 了 极 大 的 帮助 。 可 以 这 样 
讲 ， 它 已 经 成 为 一 个 实用 可 行 的 公用 基础 工具 ， 为 所 有 团队 在 系统 集成 
方面 提供 帮助 。 测 试 自动 化 ， 简 写 TAP “译注: Test Automation 
Program) 就 是 这 样 做 的 。TAP 几 乎 应 用 于 所 有 的 Google 项 目 ， 但 
Chromium 和 Android 除外 〔( 它 们 是 开源 项 目 ， 使 用 了 不 同 代码 库 和 构 
ENS. 

虽然 所 有 的 团队 使 用 相同 的 一 套 工 具 和 基础 框架 有 一 定 的 益处 ， 但 
这 些 益 处 也 不 能 被 过 分 夸大 。 有 些 简单 的 小 工具 也 可 以 解决 现实 问题 。 
工程 师 使 用 一 个 简单 的 命令 在 云端 提交 CL、 并 发 构建 、 运 行 所 有 可 能 
涉及 的 测试 代码 ， 并 将 运行 结果 可 视 化 地 展示 在 一 个 永久 的 网 站 上 。 在 
命令 运行 终 喘 也 会 显示 “成 功 ”"、“ 失 败 ”， 以 及 指 同 任务 详情 的 超 链 接 。 

















如 果 开 发 选择 使 用 这 样 的 方式 ， 他 的 测试 结果 (包括 履 蓄 率 信 息 ) 就 会 
被 存储 在 云端 ， 并 通过 Google 内 部 代码 审查 工具 对 所 有 的 代码 审查 者 可 
Mo 








现在 让 我 们 把 所 有 与 SET 相关 的 东西 拼装 在 一 起 ， 看 一 个 完整 的 实 
例 。 雷 要 注意 的 是 ， 这 部 分 将 涉及 部 分 技术 内 容 ， 且 会 深入 到 某 些 底层 
细节 里 面 。 如 果 你 只 对 SET 概要 介绍 感 兴 趣 ， 那 么 你 可 以 跳 过 这 一 部 
Ia 

假设 有 一 个 简单 的 网 络 应 用 ， 它 的 功能 是 允许 用 户 向 Google 提 交 
URL， 并 把 这 个 URL 增 加 到 Google 的 索引 文件 之 中 。HTML 的 网 页 表单 
页 面 上 接收 两 个 字段 : url 和 相应 的 注释 ， 然 后 同 Google 的 服务 器 发 送 类 
似 以 下 的 一 个 HTTP GET 请 求 。 

GET /addurl?url=http://www.foo.com&comment=Foo+comment 
HTTP/1.1 

在 这 个 例子 中 ， 这 个 web 应 用 的 服务 器 端 分 成 至 少 两 部 分 前端 服 
务 AddUrlFrontend〈 它 接收 原始 的 HTTP 请 求 ， 并 做 解析 和 验证 工作 ) 
和 后 端 服务 AddUrlService。 这 个 后 端 服务 接 受 来 自 于 前 端 服务 
AddUrlFrontend 的 请 求 ， 检 得 数 据 是 否 有 错 ， 并 与 后 端 数据 存储 持久 层 

(例如 Google 的 Bigtable (译注 : 

http://labs.google.com/papers/bigtable.html) 或 GFS Goolge xR CHE 
ik: http://labs.google.com/papers/gfs.html) 进行 交互 。 

SWE 针 对 这 个 服务 ， 要 做 的 第 一 件 事 就 是 为 这 个 项 目 创建 一 个 目 
Ko 

$ mkdir depot/addurl/ 

他 们 使 用 Google Protocol Buffer 描 述 性 语言 ( 注 : 











http://code.google.com/apis/protocol  buffers/  docs/overview.html) 定义 
AddUrlService 的 协议 。 

File: depot/addurl/addurl.proto 

message AddUrlRequest { 

required string url = 1; // The URL entered by the user. 

optional string comment = 2; // Comments made by the user. 

j 

message AddUrlReply 1 

// Error code,if an error occurred. 

optional int32 error code = 1; 

// Error message,if an error occurred. 

optional string error details = 2; 

j 

service AddUrlService 1 

// Accepts a URL for submission to the index. 

rpc AddUrl(AddUrlRequest) returns (AddUrlReply) 1 

option deadline = 10.0; 

} 

} 

上 面 的 “addurl.proto” 文 件 定 义 了 三 个 重要 部 分 : AddUrlRequest 的 
消息 格式 AddUrlReply 的 消息 格式 、AddUrlService 远 程 方法 调用 服务 

(RPC) 。 

通过 得 看 AddUrlRequest 消 息 的 定义 ， 我 们 可 以 知道 调用 者 必须 提 
供 一 个 un 字段， 而 另外 一 个 comment 字 段 是 可 选 的 。 

类 似 地 ， 通 过 检查 AddUrlReply 消 息 的 定义 ， 我 们 可 以 知道 
error code 和 error_details 两 个 服务 器 提供 的 响应 字段 都 是 可 选 的 。 我 们 
可 以 安全 地 假设 : 当 一 个 URL 被 成 功 接收 以 后 这 些 字段 一 般 情况 下 会 返 





回 为 衬 ， 这 样 也 可 以 最 小 化 中 间 的 数据 传输 量 。 这 是 Google 的 惯例 ， 让 
常见 的 场景 快速 运行 。 

通过 查看 AddUrlService 服务 的 定义 可 以 知道 单一 服务 方法 一 一 
AddUrl， 接 受 一 个 AddUrlRequest 并 返回 一 个 AddUrlReply。 默 认 情 况 
下 ， 如 果 client 在 调用 AddUrl 之 后 10 秒 还 没有 收 到 任何 回应 就 会 超时 。 
AddUrlService 在 实现 上 会 与 后 端 持 久 数据 存储 层 再 做 交互 ， 但 client 并 
不 需要 关心 这 一 部 分 细节 ， 所 以 在 “addurl.proto” 文 件 中 没有 这 部 分 接口 
的 定义 详情 。 

在 消息 字段 中 出 现 的 “=1 并 不 是 指 这 个 字段 的 值 。 这 种 使 用 方法 是 
为 了 允许 协议 将 来 升级 使 用 。 例 如 ， 以 后 某 人 可 能 想 增 加 一 个 额外 的 uri 
字段 到 AddUrlRequest 消 轧 中 。 为 了 实现 这 个 ， 他 们 可 以 做 如 下 变更 。 

message AddUrlRequest { 








required string url = 1; // The URL entered by the user. 
optional string comment = 2; // Comments made by the user. 
optional string uri = 3; // The URI entered by the user 

} 


EXERSA nif. HEA Reel FREA uri, n 
使 用 相同 的 数值 ， 老 版 本 和 新 版 本 之 间 就 会 保持 兼容 性 。 

message AddUrlRequest { 

required string uri = 1; // The URI entered by the user. 

optional string comment = 2; // Comments made by the user. 

j 

在 完成 addurl.proto 以 后 ， 开 发 人 员 可 以 为 proto_library 创 建构 建 规 
则 ， 根 据 addurl.proto 中 定义 的 字段 自动 产生 C++ 源 文件 并 编译 成 一 个 
C++ 静态 库 《〈 增 加 额外 的 选项 ， 也 可 以 绑 定 到 其 他 语言 ， 如 Java 或 
Ptyhon) 。 

File: depot/addurl/BUILD 


proto library(name-"addurl", 


srcs=[“addurl.proto”]) 


开发 人 员 使 用 构建 系统 ， 并 修复 在 构建 过 程 中 可 能 出 现 的 








addurl.proto 问 题 或 构建 定义 文件 中 的 问题 。 构 建 系 统 会 调用 Protocol 
Buffer 编译 器 ， 产 生源 码 文 件 addurl.pb.h 和 addurl.pb.cc， 同 时 会 产生 一 
个 可 以 被 链接 的 静态 库 adurl。 


类 


现在 可 以 新 建文 件 addurl_frontend.h， 并 在 其 中 定义 AddUrlFrontend 


。 代 码 大 体 如 下 。 


File: depot/addurl/addurl_frontend.h 

#ifndef ADDURL_ADDURL_FRONTEND_H_ 

#define ADDURL_ADDURL_FRONTEND_H_ 

// Forward-declaration of dependencies. 

class AddUrlService; 

class HTTPRequest; 

class HTTPReply; 

// Frontend for the AddUrl system. 

// Accepts HTTP requests from web clients, 

// and forwards well-formed requests to the backend. 

class AddUrlFrontend { 

public: 

// Constructor which enables injection of an 

// AddUrlService dependency. 

explicit AddUrlFrontend(AddUrlService* add_url_service); 
~AddUrlFrontend(); 

// Method invoked by our HTTP server when a request arrives 
// for the /addurl resource. 


void HandleAddUrlFrontendRequest(const HTTPRequest* http_request, 


HTTPReply* http_reply); 

private: 

AddUrlService* add_url_service_; 

// Declare copy constructor and operator= private to prohibit 
// unintentional copying of instances of this class. 
AddUrlFrontend(const AddUrlFrontend&); 
AddUrlFrontend& operator=(const AddUrlFrontend& rhs); 


}; 
#endif // ADDURL ADDURL FRONTEND H 
继续 AddUrlFrontend 类 的 实现 部 分 ， 开 发 人 员 创 


建 “addurl_frontend.cc” 文 件 。 这 是 AddUrlFrontend 类 的 主要 逻辑 实现 音 
分 ， 为 了 简短 说 明 ， 省 略 了 部 分 文件 内 容 。 

File: depot/addurl/addurl_frontend.cc 

#include “addurl/addurl_frontend.h” 

#include “addurl/addurl.pb.h” 

#include “path/to/httpqueryparams.h” 

// Functions used by HandleAddUrlFrontendRequest() below,but 

// whose definitions are omitted for brevity. 

void ExtractHttpQueryParams(const HTTPRequest* http_request, 

HTTPQueryParams* query_params); 

void WriteHttp200Reply(HTTPReply* reply); 

void WriteHttpReply WithErrorDetails( 

HTTPReply* http_reply,const AddUrlReply& add_url_reply); 

// AddUrlFrontend constructor that injects the AddUrlService 

// dependency. 

AddUrlFrontend:: AddUrlFrontend(AddUrlService* add url service) 


: add url service (add url service) 1 


} 
// AddUrlFrontend destructor - there’s nothing to do here. 
AddUrlFrontend::~AddUrlFrontend() { 
} 
// HandleAddUrlFrontendRequest: 
// Handles requests to /addurl by parsing the request, 
// dispatching a backend request to an AddUrlService backend, 
// and transforming the backend reply into an appropriate 
// HTTP reply. 
// 
// Args: 
// http request - The raw HTTP request received by the server. 
// http reply - The raw HTTP reply to send in response. 
void AddUrlFrontend::HandleAddUrlFrontendRequest( 
const HTTPRequest* http request, HTTPReply* http reply) 1 
// Extract the query parameters from the raw HTTP request. 
HTTPQueryParams query params; 
ExtractHttpQueryParams(http request,&query params); 
// Get the ‘url’ and ‘comment’ query components. 
// Default each to an empty string if they were not present 
// in http. request. 
string url = query params.GetQueryComponentDefault(*ur]",); 
string comment 

query. params.GetQueryComponentDefault( *comment",'*"); 
// Prepare the request to the AddUrlService backend. 
AddUrlRequest add url request; 
AddUrlReply add url reply; 


add_url_request.set_url(url); 

if (!Icomment.empty()) { 

add url request.set comment(comment); 

j 

// Issue the request to the AddUrlService backend. 

RPC rpc; 

add url service ->AddUrl( 
&rpc,&add url request,&add url reply); 

// Block until the reply is received from the 

// AddUrlService backend. 

rpc. Wait(); 

// Handle errors,if any: 

if (add_url_reply.has_error_code()) { 
WriteHttpReplyWithErrorDetails(http_reply,add_url_reply); 
} else { 

// No errors.Send HTTP 200 OK response to client. 
WriteHttp200Reply(http_reply); 

} 

} 

HandleAddUrlFrontendRequest 是 一 个 经 常 被 调用 的 成 员 函 数 。 许 多 


Web 处 理 函 数 大 多 如 此 。 开 发 人 员 可 以 通过 提取 一 些 功能 到 helper 函 数 
中 ， 用 来 简化 这 个 函数 。 但 是 ， 类 似 这 样 的 重 构 在 构建 稳定 之 前 和 单元 
测试 编写 完成 并 可 以 顺利 通过 运行 之 前 是 很 少 去 做 的 。 


在 这 个 时 候 ， 开 发 人 员 修改 已 有 addur 项 目的 构建 文件 ， 为 


addurl_frontend 库 增加 入 口 。 在 构建 的 时 候 会 产生 一 个 C++ 静态 库 
AddUrlFrontend. 


File: /depot/addurl/BUILD 


# From before: 

proto library(name-"addurl", 

srcs=[“addurl.proto”]) 

# New: 

cc library(name-"addurl frontend", 

srcs-[*addurl frontend.cc" ], 

deps=[ 

“path/to/httpqueryparams”, 

“other_http_server_stuff”, 

“:addurl”,# Link against the addurl library above. 

]) 

再 次 运行 构建 工具 ， 同 时 修复 在 编译 链接 addurl_frontend.h 和 
addurl_frontend.cc 过 程 中 可 能 出 现 的 错误 ， 直 到 所 有 编译 和 链接 不 出 现 
警告 和 错误 为 止 。 此 时 ， 可 以 去 编写 AddUrlFrontend 的 单元 测试 代码 
了 。 单 元 测试 在 另外 一 个 新 文件 “addurl_frontend_testcc" 中 。 在 测试 中 
定义 一 个 虚假 (fake) 的 后 端 服务 ， 使 用 AddUrlFrontend 的 构造 函数 可 
以 把 这 个 虚假 的 后 端 服务 在 运行 时 刻 调 用 。 这 样 的 话 ， 单 元 测试 在 运行 
时 ， 无 需 修 改 AddUrlFrontend 代 人 码 本 号 ， 代 人 码 逻 辑 能 够 进入 
AddUrlFrontend 内 部 期 望 分 文中 或 错误 流程 里 〈 译 注 : 阅读 以 下 代码 需 


A 


要 提前 了 解 Google's framework for writing C++ test， 即 googletest， 人 参见 





https://code.google.com/p/googletest/) 。 
File: depot/addurl/addurl_frontend_test.cc 
#include “addurl/addurl.pb.h” 
#include “addurl/addurl_frontend.h” 
// See http://code.google.com/p/googletest/ 
#include “path/to/googletest.h” 
// Defines a fake AddUrlService,which will be injected by 


// the AddUrlFrontendTest test fixture into AddUrlFrontend 
// instances under test. 

class FakeAddUrlService : public AddUrlService { 
public: 

FakeAddUrlService() 

: has_request_expectations_(false), 

error code (0) {} 

// Allows tests to set expectations on requests. 

void set_expected_url(const string& url) { 

expected_url_ = url; 

has_request_expectations_ = true;} 

void set_expected_comment(const string& comment) { 
expected_comment_ = comment; 
has_request_expectations_ = true; 

} 

// Allows for injection of errors by tests. 

void set_error_code(int error_code) { 

error_code_ = error_code; 

} 

void set_error_details(const string& error_details) { 
error_details_ = error_details; 

} 

// Overrides of the AddUrlService::AddUrl method generated from 
// service definition in addurl.proto by the Protocol Buffer 
// compiler. 

virtual void AddUrl(RPC* rpc, 

const AddUrlRequest* request, 


AddUrlReply* reply) { 

// Enforce expectations on request (if present). 

if (has request expectations ) { 

EXPECT EQ(expected url  ,request-^url()); 

EXPECT EQ(expected comment ,request-^comment()); 

j 

// Inject errors specified in the set * methods above if present. 
if (error code != 0 || lerror details .empty()) 1 
reply-^set error code(error code ); 
reply-^set error details(error details ); 

j 

j 

private: 

// Expected request information. 

// Clients set using set expected * methods. 

string expected url ; 

string expected comment ; 

bool has request expectations ; 

// Injected error information. 

// Clients set using set. * methods above. 

int error code ; 

string error details ; 

ie 

// The test fixture for AddUrlFrontend.It is code shared by the 
// TEST_F test definitions below.For every test using this 

// fixture,the fixture will create a FakeAddUrlService,an 

// AddUrlFrontend,and inject the FakeAddUrlService into that 


// AddUrlFrontend.Tests will have access to both of these 
// objects at runtime. 

class AddurlFrontendTest : public ::testing::Test 1 
protected: 

// Runs before every test method is executed. 

virtual void SetUp() 1 

// Create a FakeAddUrlService for injection. 

fake add url service .reset(new FakeAddUrlService); 

// Create an AddUrlFrontend and inject our FakeAddUrlService 
// into it. 

add url frontend .reset( 

new AddUrlFrontend(fake add url service .get()));) 
scoped ptr«FakeAddUrlService» fake add url service ; 
scoped_ptr<AddUrlFrontend> add url frontend ; 

}; 

// Test that AddurlFrontendTest::SetUp works. 
TEST_F(AddurlFrontendTest,FixtureTest) { 

// AddurlFrontendTest::SetUp was invoked by this point.} 
// Test that AddUrlFrontend parses URLs correctly from its 
// query parameters. 
TEST_F(AddurlFrontendTest,ParsesUrlCorrectly) { 
HTTPRequest http_request; 

HTTPReply http_reply; 

// Configure the request to go to the /addurl resource and 

// to contain a ‘url’ query parameter. 

http_request.set_text( 

“GET /addurl?url-http://www.foo.com HTTP/1.1\r\n\r\n”); 


// Tell the FakeAddUrlService to expect to receive a URL 

// of ‘http://www.foo.com’. 
fake_add_url_service_->set_expected_url(“http://www.foo.com”); 
// Send the request to AddUrlFrontend,which should dispatch 

// arequest to the FakeAddUrlService. 
add_url_frontend_->HandleAddUrlFrontendRequest( 
&http_request,&http_reply); 

// Validate the response. 

EXPECT STREQ(*200 OK”, http_reply.text()); 

} 

// Test that AddUrlFrontend parses comments correctly from its 
// query parameters. 
TEST_F(AddurlFrontendTest,ParsesCommentCorrectly) { 
HTTPRequest http_request; 

HTTPReply http_reply; 

// Configure the request to go to the /addurl resource and 

// to contain a ‘url’ query parameter and to also contain 

// a ‘comment’ query parameter that contains the 

// url-encoded query string ‘Test comment’. 
http_request.set_text(“GET /addurl?url-http://www.foo.com" 
"&comment-Test-comment HTTP/1.1\r\n\r\n”); 

// Tell the FakeAddUrlService to expect to receive a URL 

// of ‘http://www.foo.com’ again. 
fake_add_url_service_->set_expected_url(“http://www.foo.com”); 
// Tell the FakeAddUrlService to also expect to receive a 

// comment of ‘Test comment’ this time. 


fake_add_url_service_->set_expected_comment(“Test comment”); 


// Send the request to AddUrlFrontend,which should dispatch 

// a request to the FakeAddUrlService. 
add_url_frontend_->HandleAddUrlFrontendRequest( 
&http_request,&http_reply); 

// Validate that the response received is a ‘200 OK’ response. 
EXPECT STREQ(*200 OK",http reply.text()); 

j 

// Test that AddUrlFrontend sends proper error information when 
// the AddUrlService encounters a client error. 

TEST F(AddurlFrontendTest,HandlesBackendClientErrors) 1 
HTTPRequest http request; 

HTTPReply http. reply; 

// Configure the request to go to the /addurl resource. 

http request.set text(^GET /addurl HTTP/1.1\r\n\r\n”); 

// Configure the FakeAddUrlService to inject a client error with 
// error code 400 and error. details of ‘Client Error’. 

fake add url service -»set error code(400); 

fake add url service -»set error details( Client Error"); 

// Send the request to AddUrlFrontend,which should dispatch 

// a request to the FakeAddUrlService. 

add url frontend -^HandleAddUrlFrontendRequest( 

&http request, &http reply); 

// Validate that the response contained a 400 client error. 
EXPECT STREQ(*400WwWnError Details: Client Error", 

http reply.text()); 

j 

通常 情况 下 开发 人 员 会 写 更 多 的 测试 用 例 ， 但 这 里 只 是 通过 上 面 的 


示例 来 演示 通用 模式 ， 即 如 何 定义 Fake 对 象 、 如 何 注 入 这 个 Faoke 对 
象 、 在 测试 中 如 何 调用 这 个 Fake 对 象 来 引入 期 待 的 错误 并 验证 程序 逻 
辑 ， 上 面 的 例子 就 已 经 足够 了 了。 有 一 个 需要 注意 的 地 方 ， 那 就 是 此 例 中 
我 们 缺少 了 模拟 AddUrlFrontend 和 FakeAddUrlService 之 间 的 网 络 超 
时 。 这 说 明 我 们 的 开发 人 员 筷 记 了 去 处 理 在 超时 条 件 下 的 检查 验证 丈 

辑 。 

有 经 验 的 敏捷 测试 高 手 会 指出 所 有 测试 使 用 FakeAddUrlService 有 点 
单一 ， 也 可 以 使 用 mock 来 蔡 换 。 这 个 高 手 的 建议 是 对 的 。 我 们 使 用 一 
Make’ 4 是 为 了 纯粹 的 演示 目的 。 

现在 我 们 的 开发 人 员 想 去 运行 这 些 测试 ， 他 必须 先 要 修改 构建 定义 
文件 ， 把 新 测试 代码 addurl_frontend_test 添 加 到 构建 规则 中 去 。 

File: depot/addurl/BUILD 


# From before: 





proto_library(name=”addurl”, 

srcs=[“addurl.proto”]) 

# Also from before: 

cc library(name-"addurl frontend", 

srcs-[*addurl  frontend.cc" ], 

deps=[ 

“path/to/httpqueryparams”, 

“other_http_server_stuff”, 

“:addurl”,# Depends on the proto library above. 
]) 

# New: 

cc_test(name=”addurl_frontend_test”, 

size=”small”,# See section on Test Sizes. 


srcs=[“addurl_frontend_test.cc’’], 


deps=[ 
“:addurl_frontend”,# Depends on library above. 
“path/to/googletest_main” ]) 
开发 人 员 再 一 次 使 用 构建 工具 编译 运行 addurl frontend test 程序 ， 
修复 构建 中 可 能 出 现 的 编译 链接 错误 ， 这 次 也 会 修复 测试 程序 的 错误 ， 
包括 测试 套件 、fake 和 AddUrlFrontend 本 身 的 错误 。 上 述 过 程 在 
FixtureTest 定 义 之 后 就 会 迅速 展开 ， 后 面 的 用 例 添 加 之 后 也 会 重复 上 出 
的 过 程 。 当 测试 都 通过 之 后 ， 开 发 人 员 会 创建 一 个 包含 所 有 这 些 文 件 的 
代码 变更 CL， 人 和 修复 代码 检查 工具 提示 的 小 问题 ， 再 把 这 个 CL 发 出 去 做 
代码 审查 ， 然 后 就 去 做 另外 的 工作 《很 可 能 是 实现 一 个 真实 的 后 站 
AddUrlService 服 务 ) ， 并 等 待 代码 审查 的 结果 反馈 。 
$ create_cl BUILD \ 
addurl.proto \ 
addurl_frontend.h \ 


addurl frontend.cc \ 











addurl, frontend  test.cc 

$ mail cl -m reviewer@google.com 

当代 人 码 审 碍 反馈 结果 出 来 之 后 ， 开 发 人 员 会 做 适当 的 修改 《或 与 审 
得 者 一 起 协商 方案 ) ， 很 可 能 需要 再 次 审查 ， 然 后 将 这 个 CL 提交 到 代 
码 库 之 中 。 从 此 刻 起 ， 不 管 什么 时 候 如 果 有 人 修改 了 这 里 面 的 任何 文 
fF. Google 的 目 动 化 测试 系统 就 会 感知 ， 并 运行 addurl_frontend_test 这 
个 测试 来 验证 是 否 新 的 修改 导致 已 有 测试 用 例 运行 失败 。 另 外 ， 如 果 有 
AF WKS Maddurl_frontend.cc, addurl frontend testi — ^h E A RA 
网 一 样 自 动 运行 并 进行 保护 。 


2.1.10 测试 执行 





然而 ， 测 试 上 自动 化 不 仅仅 是 自动 化 测试 程序 的 编写 。 如 果 想 让 这 些 
测试 程序 有 价值 ， 必 须要 去 考虑 如 何 编译 测试 程序 、 执 行 、 分 析 、 存 储 
和 报告 所有 测试 运行 结果 ， 这 些 都 是 自动 化 测试 会 遇 到 的 挑战 。 在 软件 
开 肥 过 程 中 测试 自动 化 想 真 正太 挥 作用 ， 还 要 和 凭借 其 自 映 的 努力 。 

除了 要 关注 如 何 正确 编写 自动 化 程序 之 外 ， 还 要 把 工程 师 的 注意 力 
转移 到 在 实际 项 目 中 如 何 更 大 肥 挥 自动 化 测试 的 价值 上 。 只 有 能 加 速 开 
发 过 程 的 自动 化 测试 才 有 意义 ， 测 试 不 应 拖 慢 开发 的 速度 。 因 此 ， 自 动 
化 必须 与 开发 过 程 真 正 集成 在 一 起 ， 并 使 之 成 为 开发 过 程 的 一 部 分 ， 而 
不 是 孤立 它 。 功 能 代码 从 来 都 不 像 真 空 一 样 扳 立 存在 ， 测 试 代 码 也 是 如 
此 。 

因此 ， 一 个 可 以 做 代码 编译 、 测 试 执行 、 结 果 分 析 、 数 据 存储 、 报 
表 展 示 的 通用 的 测试 框架 逐渐 形成 了 。 事 情 正 在 向 我 们 期 待 的 方 辐 上 友 
Fé: Google 工 程 师 专注 于 测试 程序 的 编写 、 运 行 的 细 市 留 给 通用 基础 执 
行 框架 。 对 于 工程 师 来 说 ， 测 试 代码 和 功能 代码 一 样 ， 部 是 代码 。 

在 SET 新 增 一 个 测试 程序 之 后 ， 同 时 会 针对 这 个 测试 创建 一 个 构建 
说 明文 件 。 这 个 测试 程序 的 构建 文件 包括 测试 名 称 、 源 码 文 件 、 依 赖 库 
及 数据 、 还 要 指明 其 规模 大 小 。 每 一 个 测试 程序 必须 要 标明 它 的 规模 是 
小 型 、 中 型 、 大 型 还 是 超大 型 。 在 编写 完 测试 程序 和 构建 文件 之 后 ， 后 
面 就 交 给 Google 构 建 工 具 和 测试 执行 框 保 了 。 从 提交 时 刻 开始 ， 一 个 命 
令 就 可 以 触发 构建 、 运 行 目 动 化 、 展 示 运 行 结果 了 。 

Google 的 测试 执行 框 染 对 我 们 如 何 编写 测试 程序 有 一 定 的 要 求 限 
制 。 这 些 要 求 是 怎样 的 以 及 我 们 是 如 何 应 对 处 理 的 ， 在 后 面 会 做 更 多 解 


释 。 























2.1.11 测试 大 小 的 定 》 


随 痢 Google 不 断 的 成 长 和 新 员工 不 断 的 增加 ， 一 些 令 人 疑惑 的 测试 


类 型 方面 的 专业 术语 持续 不 断 地 涌现 出 来 : 单元 测试 、 代 码 级 别 测试 、 

盒 测试 、 集 成 测试 、 系 统 测试 、 端 到 端 测试 等 ， 从 不 同 的 粒度 级 别 来 
表述 测试 的 类 型 ， 如 图 2.1 所 示 。 在 不 久 前 ， 我 们 终于 觉得 忍无可忍 ， 
于 是 自己 创建 了 一 套 测 试 命名 规则 。 
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4 图 2.1 Google 执 行 了 许多 不 同类 型 的 测试 

1. 小 型 测试 

小 型 测试 是 为 了 验证 一 个 代码 单元 的 功能 ， 一 般 与 运行 环境 隔离 ， 
例如 针对 一 个 独立 的 类 或 一 组 相关 函数 的 测试 。 小 型 测试 的 运行 不 需要 
外 部 依赖 。 在 Google 之 外 ， 小 型 测试 通常 就 是 日 元 测试 。 

小 型 测试 是 所 有 测试 类 型 里 范畴 最 小 的 ， 一 般 集中 精力 在 函数 级 别 
的 独立 操作 与 调用 上 ， 如 图 2.2 所 示 。 这 样 限定 了 范畴 的 测试 可 以 提供 
更 加 全 面 的 底层 代码 履 亲 率 ， 而 其 他 类 型 的 测试 无 法 做 到 这 一 点 。 





A 图 2.2 小 型 测试 的 范畴 ， 一 般 只 涉及 单一 的 函数 

在 小 型 测试 里 ， 外 部 服务 “如 文件 系统 、 网 络 、 数 据 库 ) 必须 通过 
模拟 或 虚假 实现 Cmock& fake) 。 为 了 减少 依赖 ， 适 当 的 时 候 也 可 模拟 
实现 被 测 类 所 在 模块 的 内 部 服务 。 

范畴 隔离 且 没 有 外 部 依赖 ， 这 让 小 型 测试 可 以 在 很 短 时 间 内 就 运行 
结束 。 因 此 ， 它 们 的 执行 频率 也 会 更 加 频繁 ， 并 且 可 以 很 快 就 会 发 现 问 
题 。 通 常情 况 下 ， 在 开发 人 员 修 改 了 他 们 的 功能 代码 之 后 就 会 立刻 运行 
这 些 测试 ， 当 然 他 们 还 要 维护 这 些 测试 代码 。 范 畴 隔离 可 以 使 构建 与 测 





试 执行 时 间 变 短 。 

2. 中 型 测试 

中 型 测试 是 验证 两 个 或 多 个 模块 应 用 之 间 的 交互 ， 如 图 2.3 所 示 。 
和 小 型 测试 相 比 ， 中 型 测试 有 着 更 大 的 范畴 且 运 行 所 需要 的 时 间 也 更 
久 。 小 型 测试 会 尝试 走 遍 单独 函数 的 所 有 路 径 ， 而 中 型 测试 的 主要 目标 
是 验证 指定 模块 之 间 的 交互 。 在 Google 之 外 ， 中 型 测试 经 常 被 称 为 “ 集 
成 测试 ”。 

中 型 测试 运行 的 时 间 需 要 更 久 ， 需 要 测试 执行 工具 在 执行 频率 上 加 
以 控制 ， 不 能 像 小 型 测试 那样 频繁 地 运行 。 一 般 情 况 下 是 由 SET 来 组 织 
运行 中 型 测试 。 

对 于 中 型 测试 ， 鼓 励 使 用 模拟 技术 (mock) 来 解决 外 部 服务 的 依 
赖 问题 ， 但 这 不 是 强制 的 ， 如 出 于 性 能 考虑 可 以 不 使 用 模拟 技术 。 轻 量 
级 的 虚假 实现 (fake〉， 如 常 驻 内 存 的 数据 库 ， 在 不 能 使 用 mock 的 场景 
下 可 以 用 来 提升 性 能 。 














4 图 2.3 中 型 测试 涉及 多 个 模块 并 且 依 赖 外 部 数据 


3. 对 于 大 型 测试 

在 Google 之 外 通常 被 称 为 “系统 测试 "或 “ 谓 到 端 测试 ?。 大 型 测试 
在 一 个 较 高 层次 上 运行 ， 验 证 系统 作为 一 个 整体 是 如 何 工作 的 。 这 涉及 
应 用 系统 的 一 个 或 所 有 子 系统 ， 从 前 并 界面 到 后 端 数据 储存 ， 如 图 2.4 
所 示 。 该 测试 也 可 能 会 依赖 外 部 资源 ， 如 数据 库 、 文 件 系统 、 网 络 服务 


FY 
等 。 





A 图 2.4 大 型 测试 或 者 超大 型 测试 ， 包 括 在 端 到 端 执行 过 程 中 涉及 的 所 有 模块 

注意 

小 型 测试 是 为 了 验证 一 个 代码 单元 的 功能 。 中 型 测试 验证 两 个 或 多 
个 模块 应 用 之 间 的 交互 。 大 型 测试 是 为 了 验证 整个 系统 作为 一 个 整体 是 
如 何 工 作 的 。 





使 用 统一 的 运行 方式 来 执行 不 同 的 目 动 化 测试 是 有 一 定 难度 的 。 对 
于 一 个 大 型 工程 组 织 来 说 ， 如 果 想 使 用 通用 的 测试 执行 平台 ， 那 么 这 个 


平台 必须 文 持 运 行 各 种 各 样 的 测试 任务 。 

使 用 Google 测 试 执行 平台 运行 的 一 些 通用 任务 如 下 。 

开发 人 员 编译 和 运行 小 型 测试 ， 和 希望 立刻 就 能 知道 运行 结果 。 

开 友 人 员 和 希望 运行 一 个 项 目的 所 有 小 型 测试 ， 并 能 够 快速 知道 运行 
结果 。 

开发 人 员 只 有 在 变更 代码 出 现时 ， 才 希望 去 编译 运行 相关 的 项 目测 
试 ， 并 即刻 得 到 运行 结果 。 

工程 师 希 望 能 够 知道 一 个 项 目的 测试 覆 兰 率 并 得 看 结 采 。 

对 项 目的 每 次 代码 变更 CCL) ， 都 能 够 运行 这 个 项 目的 小 型 测 
试 ， 并 将 运行 结果 发 送 给 团队 成 员 以 辅助 进行 代码 审查 。 

在 代码 变更 (CL) 提交 到 版 本 控制 系统 之 后 ， 目 动 运行 项 目的 所 
有 测试 。 

团队 希望 每 周 都 能 得 到 代码 履 焉 率 ， 并 实时 跟踪 履 兰 率 的 变化 。 

上 面 提 及 的 所 有 任务 ， 有 可 能 同时 并 发 提交 到 Google 测 试 执行 系 
统 。 一 些 测试 可 能 极度 消耗 资源 ， 使 得 公用 测试 机 器 处 于 不 可 用 状态 达 
数 小 时 。 夯 外 一 些 测试 可 能 只 需 几 曼 秒 ， 而 且 可 以 和 其 他 几 百 个 任务 同 
时 在 一 合 机 器 上 并 发 运行 。 当 每 一 个 测试 都 被 标记 为 小 型 、 中 型 、 大 型 
的 时 候 ， 调 度 运行 这 些 测试 任务 就 会 变 得 相对 简单 一 些 ， 因 为 调度 器 已 
经 知道 每 个 任务 需要 运行 的 时 间 ， 这 样 可 以 优化 任务 队列 ， 达 到 合理 利 
用 的 目的 。 

Google 测 试 执行 系统 利用 了 测试 规模 的 定义 ， 把 运行 较 快 的 任务 从 
较 慢 的 任务 中 挑选 出 来 。 测 试 规模 在 测试 运行 时 间 上 规定 了 一 个 最 大 
值 ， 如 表 2.1 所 示 ; 同时 测试 规模 在 测试 运行 消耗 资源 上 也 做 了 要 求 ， 
如 表 2.2 所 示 。Google 测 试 执行 系统 在 肥 现 任何 测试 超时 ， 或 是 消耗 的 资 
源 超过 这 个 测试 规模 应 该 使 用 的 资源 时 ， 会 把 这 个 测试 任务 取消 掉 并 报 
告 这 个 错误 。 这 会 过 使 工程 师 提 供 合 适 的 测试 规模 标签 。 精 准 的 测试 规 
模 ， 可 以 使 Google 测 试 执行 系统 在 调度 时 做 出 明智 的 决定 。 


























表 2.1 针对 不 同 测试 规模 的 测试 执行 时 间 的 目标 和 限制 


小 型 测试 中 型 测试 超大 型 测试 
时 间 目 标 〈 每 个 函数 ) 1 秒 以 内 RT EIR 尽 可 能 快 


强制 时 间 限 制 1 分 钟 之 后 强制 结束 ”|5 分 钟 之 后 强制 结束 “| 15 分 钟 之 后 强制 结束 | 1 小 时 之 后 强制 结束 





表 2.2 针对 不 同 测试 规模 的 资源 使 用 情况 








A d 大 型 测试 中 型 测试 小 型 测试 
网 络 服务 (建立 一 个 链接 ) 模拟 
数据 库 是 是 模拟 
访问 文件 系统 是 是 模拟 


y: 
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每 一 种 测试 规模 痢 带 来 了 一 些 益 处 ， 如 图 2.5 所 示 。 每 种 测试 规模 
的 优点 和 缺点 也 都 罗列 在 这 里 以 供 参 考 和 比较 。 


大 型 测试 
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和 图 2.5 不 同 测试 规模 类 型 的 限 和 
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1. 大 型 测试 

大 型 测试 的 优点 和 缺点 包括 如 下 。 

测试 最 根本 最 重要 的 : 在 考虑 外 部 系统 的 情况 下 应 用 系统 是 如 何 工 
作 的 。 

由 于 对 外 部 系统 有 依赖 ， 因 此 它们 是 非 确 定性 的 。 

很 宽 的 测试 范畴 意味 着 如 果 测 试 运行 失败 ， 寻 找 精 准 失 败 根 源 就 会 
比较 困难 。 

测试 数据 的 准备 工作 会 非常 耗 时 。 

大 型 测试 是 较 高 层次 的 操作 ， 如 果 想 要 走 到 特定 的 代码 路 和 区 域 是 
不 切实 际 的 ， 而 这 一 部 分 却 是 小 型 测试 的 专长 。 

2. 中 型 测试 

中 型 测试 的 优点 和 缺点 包括 如 下 。 

由 于 不 需要 使 用 mock 技 术 ， 且 不 受 运 行 时 刻 的 限制 ， 因 此 该 测试 
是 从 大 型 测试 到 小 型 测试 之 间 的 一 个 过 渡 。 

因为 它们 运行 速度 相对 较 快 ， 所 以 可 以 频繁 地 运行 它们 。 

它们 可 以 在 标准 的 开发 环境 中 运行 ， 因 此 开发 人 员 也 可 以 很 容易 运 
AT EMT 

它们 依赖 外 部 系统 。 

由 于 对 外 部 系统 有 依赖 ， 因 此 它们 本 里 就 有 不 确定 性 。 

它们 的 运行 速度 没有 小 型 测试 快 。 

3. 小 型 测试 

小 型 测试 的 优点 和 缺点 包括 如 下 。 

为 了 更 容易 地 就 被 测试 到 ， 代 码 应 清晰 干净、 函数 规模 较 小 且 重 点 
集中 。 为 了 方便 模拟 ， 系 统 之 间 的 接口 需要 有 良好 的 定义 。 

由 于 它们 可 以 很 快运 行 完毕 ， 因 此 在 有 代码 变更 发 生 的 时 候 就 可 以 
立刻 运行 ， 从 而 可 以 较 早 地 发 现 缺 陷 并 提供 及 时 的 反馈 。 



































在 所 有 的 环境 下 它们 都 可 以 可 靠 地 运行 。 

它们 有 较 小 的 测试 范围 ， 这 样 可 以 很 容易 地 做 边界 场景 与 错误 条 件 
的 测试 ， 例 如 一 个 空 指针 。 

它们 有 特定 的 范畴 ， 可 以 很 容易 地 隔离 错误 。 

不 要 做 模块 之 间 的 集成 测试 ， 这 是 其 他 类 型 的 测试 要 做 的 事情 (中 
型 测试 ) 。 

有 时 候 对 子 系统 的 模拟 是 有 难度 的 。 

使 用 mock 或 fake 环 境 ， 可 以 不 与 真实 的 环境 同步 。 

小 型 测试 带 来 优秀 的 代码 质量 、 良 好 的 异常 处 理 、 优 雅 的 错误 报 
告 ; 大 中 型 测试 带 来 整体 产品 质量 和 数据 验证 。 单 一 的 测试 类 型 不 能 解 
决 所 有 项 目 需求 。 正 是 由 于 这 个 原因 ，Google 项 目 维护 着 一 个 不 同 测试 
类 型 之 间 的 健康 比例 。 对 于 一 个 项 目 ， 如 果 全 部 使 用 大 型 的 端 到 端 自 动 
化 测试 是 错误 的 ， 全 部 使 用 小 型 的 单元 测试 同样 也 是 错误 的 。 

注意 

小 型 测试 带 来 优秀 的 代码 质量 、 良 好 的 异常 处 理 、 优 雅 的 错误 报 
告 ; 大 中 型 测试 会 带 来 整体 产品 质量 和 数据 验证 。 

检验 一 个 项 目 里 小 型 测试 、 中 型 测试 和 大 型 测试 之 间 的 比率 是 否 健 
康 ， 一 个 好 办 法 是 使 用 代码 覆盖 率 。 测 试 代 码 履 盖 率 可 以 针对 小 型 测 
试 、 中 大 型 测试 分 别 单独 产生 报告 。 履 盖 率 报告 会 针对 不 同 的 项 目 展示 
一 个 可 被 接受 的 履 盖 率 结 果 。 如 果 中 大 型 测试 只 有 20% 的 代码 履 盖 率 ， 
而 小 型 测试 有 近 100% 的 履 盖 率 ， 则 说 明 这 个 项 目 缺乏 端 到 端的 功能 验 
证 。 如 果 结 果 数 字 反 过 来 了 ， 则 说 明 这 个 项 目 很 难 去 做 升级 扩展 和 维 
护 ， 由 于 小 型 测试 较 少 ， 就 需要 大 量 的 时 间 消 耗 在 底层 代码 调试 查 错 
上 。Google 工 程 师 可 以 使 用 构建 与 运行 测试 时 使 用 的 工具 ， 来 产生 并 碍 
看 测试 覆 善 率 结果 ， 只 需要 在 命令 行 中 额外 增加 一 个 选项 即 可 。 履 盖 率 
结果 会 存储 在 云端 ， 任 何 工程 师 在 公司 内 网 络 环境 下 都 可 以 通过 浏览 器 
查看 这 些 报告 。 



































Google 有 许多 不 同类 型 的 项 目 ， 这 些 项 目 对 测试 的 需求 也 不 同 ， 小 
型 测试 、 中 型 测试 和 大 型 测试 之 间 的 比例 随 着 项 目 团队 的 不 同 而 不 同 。 
这 个 比例 并 不 是 固定 的 ， 总 体 上 有 一 个 经 验 法 则 ， 即 70/20/10 原 则 : 
70% 是 小 型 测试 ，20% 是 中 型 测试 ，10% 是 大 型 测试 。 如 果 一 个 项 目 是 
面 同 用 户 的 ， 拥 有 较 高 的 集成 度 ， 或 者 用 户 接口 比较 复杂 ， 他 们 就 应 该 
有 更 多 的 中 型 和 大 型 测试 ， 如 果 是 基础 平台 或 者 面向 数据 的 项 目 ， 例 如 
索引 或 网 络 爬 虫 ， 则 最 好 有 大 量 的 小 型 测试 ， 中 型 测试 和 大 型 测试 的 数 
量 要 求 会 少 很 多 。 

另外 有 一 个 用 来 监视 测试 覆盖 率 的 内 部 工具 是 Harvester。Harvester 
是 一 个 可 视 化 的 工具 ， 可 以 记录 所 有 项 目的 CL 历史 ， 并 以 图 形 化 的 方 
式 展示 ， 例 如 测试 代码 和 CL 中 新 增 代码 的 比率 、 代 码 变 更 的 多 少 、 按 
时 间 的 变化 频率 、 按 照 开 发 人 员 的 变化 次 数 ， 等 等 。 这 些 图 形 的 目的 是 
展示 随 着 时 间 的 变化 ， 测 试 的 变化 趋势 是 怎样 的 。 

















无 论 测试 规模 的 大 小 是 什么 ， 由 于 Google 的 测试 执行 系统 是 一 个 公 
用 环境 ， 因 此 就 要 求 测试 本 身 满 足下 面 几 个 条 件 。 

每 个 测试 和 其 他 测试 之 间 都 是 独立 的 ， 使 它们 就 能 够 以 任意 顺序 来 
执行 。 

测试 不 做 任何 数据 持久 化 方面 的 工作 。 在 这 些 测试 用 例 离开 测试 环 
境 的 时 候 ， 要 保证 测试 环境 的 状态 与 测试 用 例 开始 执行 之 前 的 状态 是 一 
样 的 。 

这 两 个 要 求 比较 简单 也 很 容易 理解 ， 但 必须 严格 遵守 。 测 试 本 里 会 
尽 可 能 地 遵守 要 求 ， 但 被 测 系 统 却 有 可 能 违背 原则 ; 保存 数据 或 修改 环 
境 配 置信 息 。 洱 运 的 是 ，Google 测 试 执行 环境 提供 了 许多 特性 可 以 确保 
这 些 要 求 比较 容易 束 得 到 满足 。 














由 于 测试 用 例 有 独立 运行 的 要 求 ， 在 运行 时 刻 ， 工 程 师 通过 设置 一 
个 标记 惑 能 以 随机 的 顺序 来 执行 它们 。 这 样 也 可 以 找到 那些 对 执行 顺序 
有 要 求 的 用 例 。 总 之 , “任意 顺序 ”意味 着 可 以 并 发 执行 用 例 。 测 试 执行 
系统 可 以 选择 在 同一 个 机 器 上 同时 执行 两 个 用 例 ， 但 如 果 每 个 用 例 都 要 
求 独占 系统 某 些 资源 ， 其 中 一 个 用 例 束 可 能 运行 失败 。 例 如 以 下 几 种 情 
况 。 

两 个 测试 都 要 绑 定 同一 个 端口 ， 用 以 接收 来 自 网 络 的 数据 。 

两 个 测试 需要 在 同一 个 路 径 下 创建 相同 的 目录 。 

一 个 测试 希望 创建 并 使 用 一 个 数据 库 表 ， 而 另外 一 个 测试 想 删 除 这 
个 数据 库 表 。 

这 种 类 型 的 种 突 ， 不 仅 会 导致 自己 的 用 例 运行 失败 ， 而 且 可 能 会 导 
致 测试 执行 系统 中 其 他 正在 运行 的 用 例 也 失败 ， 即 便 男 外 的 用 例 已 经 遵 
守 了 规则。 测试 执行 系统 可 以 找 出 这 些 测 试用 例 ， 并 通知 给 相应 的 用 例 
负责 人 。 另 外 ， 通 过 设置 一 个 特殊 标记 ， 用 例 可 以 在 指定 的 机 器 上 以 独 
立 排他 的 方式 运行 。 但 排他 的 方式 运行 只 是 一 个 临时 方案 。 更 多 的 时 
候 ， 测 试 或 者 被 测 系统 必须 重 构 ， 彻 底 解 诀 在 单一 资源 方面 的 依赖 。 下 
面 的 做 法 可 以 帮助 解决 一 些 问题 。 

在 测试 执行 系统 中 ， 让 每 个 测试 用 例 获取 一 个 未 被 使 用 的 端口 ， 并 
让 被 测 系统 动态 地 绑 定 到 这 个 端口 上 。 

在 测试 执行 之 前 ， 为 每 一 个 测试 用 例 在 临时 目录 下 创建 目录 和 文 
件 ， 并 使 用 独一无二 的 目录 名 。 

每 个 测试 运行 在 自己 的 数据 库 实例 之 上 ， 使 用 与 环境 隔离 的 目录 和 
端口 。 这 些 都 由 测试 执行 系统 来 控制 。 

Google 全 力 维 护 其 测试 执行 系统 ， 甚 至 文档 也 非常 详尽 。 这 些 文 档 
存放 在 Google 的 “测试 百科 全 书 ” 中 ， 这 里 有 对 其 运行 使 用 的 资源 所 做 的 
最 终 解释 。 “测试 百科 全 书 ” 有 点 像 IEEE RFC (YE: IEEE 定 义 的 正式 
标准 ，RFC 是 Request for Comment 的 简写 ) ， 明 确 使 用 “必须 ”或 “应 

















该 ?这 样 的 字样 ， 并 在 其 中 详细 解释 了 角色 、 测 试用 例 职 责 、 测 试 执行 
者 、 集 群 系统 、 运 行 时 刻 的 libc、 文 件 系 统 等 。 

许多 Google 工程 师 感 党 没有 太 多 必要 去 阅读 “测试 百科 全 书 ”， 他 
们 从 其 他 人 号 上 了 解 这 方面 的 知识 ， 或 者 从 不 断 的 试验 错误 中 得 到 教 
训 ， 也 在 代码 评审 中 收 到 改进 反馈 。 他 们 不 知道 ， 公 用 测试 执行 环境 能 
够 服务 于 所 有 Google 项 目 ， 其 中 背后 的 细节 都 已 在 文档 之 中 。 他 们 也 不 
知道 ， 在 公用 执行 环境 中 的 运行 结果 为 什么 与 工作 机 器 上 的 运行 结果 一 
致 ， 背 后 的 原因 也 都 在 文档 里 了 。 对 于 测试 执行 系统 平台 的 使 用 用 户 来 
说 ， 细 节 实 现 是 透明 的 。 所 有 的 一 切 都 能 正常 工作 。 


Google 测 试 的 速度 与 规模 


by Pooja Gupta, Mark Ivey,and John Penix 

在 开发 过 程 中 ， 持 续集 成 系统 在 保证 软件 正常 工作 方面 发 挥 着 重要 
作用 。 多 数 持续 集成 系统 按照 下 面 基 本 步骤 工作 。 

C1) 得 到 最 新 的 代码 。 

(2) 运行 所 有 的 测试 。 

(3) 报告 运行 结果 。 

(4) ZEILE OD (3) zb. 

在 代码 规模 较 小 时 ， 上 述 过 程 可 以 很 容易 地 工作 ， 代 码 变 化 不 多 ， 
测试 也 可 以 很 快 就 运行 结束 。 随 着 代码 库 中 的 代码 不 断 增 加 ， 这 样 一 个 
系统 的 效率 就 会 下 降 。 每 次 全 新 地 取出 干净 代码 再 运行 耗 时 较 大 ， 多 次 
变更 被 揭 强 地 宫 进 一 次 测试 运行 之 中 。 如 果 运 行 失 败 ， 对 于 团队 来 说 ， 
发 现 定位 这 个 错误 并 回 深 ， 将 成 为 了 一 个 漫长 且 易 错 的 过 程 。 

Google 的 软件 开发 过 程 在 速度 和 规模 上 日 新 月 异 。Google 代 人 码 库 每 
分 钟 都 会 收 到 多 于 20 次 的 变更 申请 ，50% 的 文件 每 个 月 都 会 发 生变 化 。 
每 个 产品 的 发 布 从 “ 头 ” 开 始 就 依赖 于 自动 化 测试 去 验证 产品 功能 。 发 布 




















的 频率 根据 产品 团队 不 同 ， 也 从 每 天 数 次 到 几 周 一 次 不 等 。 

拥有 如 此 庞大 且 不 停 变 化 的 代码 库 ， 为 了 保持 构建 始终 保持 “ 绿 
色 ”， 就 需要 花费 大 量 的 时 间 做 维护 。 一 个 持续 集成 系统 ， 如 果 测 试 失 
败 ， 应 该 可 以 提供 具体 哪 次 代码 变更 导致 失败 ， 而 不 是 给 出 一 堆 可 疑 的 
变更 列表 ， 或 消耗 较 长 时 间 做 二 分 查找 从 而 定位 具体 哪 次 代码 变更 导致 
了 问题 的 发 生 。 为 了 精确 定位 哪 次 代码 变更 导致 测试 用 例 运行 失败 ， 我 
们 可 以 针对 每 次 代码 变更 运行 所 有 的 测试 ， 但 这 样 做 的 代价 也 是 非常 郧 
HS 

为 了 解决 这 个 问题 ， 我 们 对 持续 集成 系统 做 了 优化 ， 如 图 2.6 所 
示 。 利 用 依赖 分 析 技 术 寻 找 所 有 可 能 受 影响 的 模块 ， 针 对 一 个 代码 变更 
只 运行 受 影响 模块 的 测试 。 这 个 系统 在 Google 云 计算 平台 上 构建 ， 使 得 
许多 构建 可 以 并 发 执行 ， 并 在 代码 变更 提交 的 时 候 立 刻 运行 可 能 受 影响 
模块 的 测试 。 

这 里 用 一 个 示例 来 说 明 我 们 的 系统 是 如 何 提供 更 快 反馈 的 ， 与 传统 
持续 构建 系统 相 比 ， 我 们 的 反馈 内 容 也 会 更 加 精准 。 在 这 个 示例 中 ， 我 
们 使 用 了 两 个 测试 (gmail_client_tests,gmail_server_tests) 和 三 个 可 能 会 
影响 这 两 个 测试 的 代码 变更 (change #1,#2,#3)。gmail_server_tests 运 行 失 
败 由 变更 妃 导 致 ， 而 传统 的 持续 集成 系统 只 能 告诉 我 们 可 能 是 变更 殷 或 
变更 #3 引起 。 通 过 使 用 并 发 构建 ， 我 们 不 必 等 构建 测试 运行 全 部 结束 就 
可 以 开始 新 的 测试 。 依 赖 分 析 针 对 每 一 次 代码 变更 会 限制 执行 测试 次 
数 ， 所 以 此 例 中 ， 测 试 执行 的 总 数 与 之 前 是 相同 的 。 











典型 持续 集成 系统 
典型 持续 集成 系统 change #2 & 
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依赖 分 析 与 持续 集成 系统 
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I I I 


| | | 
| 


gmail_client_tests 


gmail_server_tests 


gmail_server_tests 


--> 表示 时 间 维 度 ， 当 有 代码 变更 触发 时 
cc 和 触发 测试 运行 。 长 度 表 示 测 试 运行 时 间 
X 测试 运行 失败 
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4 图 2.6 典型 持续 集成 系统 
持续 集成 系统 使 用 构建 系统 中 的 构建 依赖 规则 。 在 这 个 规则 中 描述 
了 代码 是 如 何 编译 、 数 据 文 件 是 怎样 集成 在 一 起 成 为 应 用 程序 的 ， 以 及 
测试 如 何 运 行 等 信息 。 这 个 构建 规则 中 详细 定义 了 构建 所 需 的 输入 输 
出 。 持 续集 成 系统 在 内 存 中 维护 了 图 2.7 所 示 的 一 个 构建 依赖 图 ， 并 随 
着 代码 的 变更 而 时 刻 保持 最 新 状态 。 如 果 有 代码 变更 提交 ， 可 以 很 快 就 








计算 得 知 哪些 依赖 模块 可 能 会 受到 影响 (直接 或 间接 ) ， 然 后 重新 运行 
构建 测试 ， 获 得 最 新 执行 状态 。 让 我 们 再 看 一 个 例子 。 
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4 图 2.7 构建 依赖 示例 

我 们 观察 两 个 独立 的 代码 变更 ， 它 们 发 生 在 依赖 树 的 不 同 深度 上 ， 
通过 分 析 来 决定 哪些 测试 会 受 影响 。 这 些 受 影响 的 测试 就 是 需要 运行 的 
最 











小 集合 测试 ， 它 们 用 来 保证 GMAIL 和 BUZZ 项 目的 构建 保持 “绿色 ”。 
1. 案 例 : 在 通用 库 上 的 代码 变更 
对 于 第 一 个 场景 ， 考 虑 common_collection_util 部 分 的 代码 修改 ， 如 
图 2.8 所 示 。 
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A 图 2.8 文件 common_collections_utilh 中 发 生 代 码 变更 


当 这 个 代码 变更 CL 提交 时 ， 我 们 沿 着 依赖 图 向 上 找到 所 有 依赖 于 
它 的 测试 。 当 这 个 查找 结束 时 《实际 上 只 需要 一 瞬间 ) ， 我 们 发 现 所 有 
的 测试 都 需要 运行 。 在 运行 之 后 ， 根 据 运 行 结果 更 新 项 目的 构建 状态 
如 图 2.9 所 示 。 
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A 图 2.9 由 于 代码 变更 而 被 影响 到 的 测试 
2. 案 例 : 在 一 个 依赖 项 目 上 的 代码 变更 
对 于 第 二 个 场景 ， 我 们 来 看 如 果 在 youtube_client 的 部 分 做 一 些 代 
人 码 变 更 ， 如 图 2.10 所 示 。 
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A [52.10 youtube_client 中 出 现 了 代码 变更 

经 过 展开 统一 的 分 析 之 后 ， 我 们 发 现 只 有 buzz_client_tests 受 到 影 
啊 ， 只 有 buzz 项 目的 状态 需要 更 新 ， 如 图 2.11 所 示 。 

在 这 个 示例 中 ， 我 们 展示 了 如 何 优化 每 次 代码 变更 后 触发 的 测试 执 
行 次 数 。 对 于 一 个 项 目 来 说 ， 并 没有 牺牲 结果 的 准确 度 。 每 次 运行 较 少 
的 测试 ， 可 以 让 我 们 有 机 会 针对 每 一 次 代码 变更 都 运行 其 所 有 可 能 受 影 
啊 的 测试 。 对 开发 人 员 来 说 ， 排 查 导致 构建 失败 的 代码 变更 会 更 容易 一 
EK 

在 持续 集成 系统 中 使 用 更 加 智能 的 分 析 工 具 与 云 计 算 平 台 ， 让 整个 
运行 过 程 更 加 迅速 和 稳定 。 当 我 们 持续 不 断 地 在 改进 这 个 系统 时 ， 成 干 
上 万 的 Google 项 目 己 经 在 使 用 这 套 平台 了 。 这 样 做 不 但 有 利于 加 快 项 目 
进度 ， 而 且 进 度 对 于 用 户 也 是 可 见 的 。 

















只 有 buzz client tests 会 执行 ， 
只 有 buzz 项 目 需 要 更 新 。 


se 





A 图 2.11 buzz 需 要 更 新 
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Patrick Copeland 在 本 书 的 序 中 强调 了 让 开发 人 员 参 与 测试 的 难度 。 
招聘 到 技术 能 力 强 的 测试 人 员 只 是 刚刚 开始 的 第 一 步 ， 我 们 依然 需要 开 
发 人 员 参 与 进来 一 起 做 测试 。 其 中 我 们 使 用 的 一 个 关键 方法 就 是 被 称 
为 “测试 认证 ”( 译 注 : Test Certified) 的 计划 。 现 在 回 过 头 来 再 看 ， 这 
个 计划 对 开发 人 员 做 测试 这 个 根深 人 带 固 文化 的 形成 有 着 巨大 的 帮助 。 

测试 认证 最 初 以 竞赛 的 方式 进行 。 如 果 我 们 把 测试 认证 做 成 一 个 富 
有 声望 的 事情 ， 这 会 让 开发 对 测试 重视 起 来 吗 ? 如 果 开 发 人 员 遵 循 一 些 
特定 的 测试 实践 ， 并 拿 到 期 望 的 结果 ， 我 们 能 说 他 们 通过 了 认证 吗 ? ZA 
后 再 给 他 们 授予 一 个 象征 性 的 徽章 ( 见 图 2.12，， 使 得 他 们 拥有 炫 浴 的 
资本 吗 ? 











wold pad? qad? adt rated 
A 图 2.12 在 项 目 wiki 页 面 上 的 测试 认证 勋章 
好 吧 ， 测 试 认证 是 : 如 果 一 个 团队 完成 了 一 系列 的 测试 任务 ， 这 个 
团队 会 得 到 一 个 通过 “认证 ”的 标识 。 所 有 团队 最 初 的 级 别 都 是 0。 如 果 
掌握 了 基本 的 优秀 代码 习惯 ， 就 达到 级 别 1， 然 后 继续 通过 水 平 考核 ， 
最 终 达 到 级 别 5， 与 外 部 的 能 力 成 熟 度 模型 一 样 ， 例 如 CMM 能 力 成 熟 度 
模型 (译注 : http://www.sei.cmu.edu/cmmi/start/faq/related-fag.cfm) 。 

















测试 认证 级 别 摘要 


测试 认证 级 别 摘 要 

级 别 1 

使 用 测试 履 盖 率 工 具 。 

使 用 持续 集成 。 

测试 分 级 为 小 型 、 中 型 、 大 型 。 

明确 标记 哪些 测试 是 非 确 定性 的 测试 “译注 : 非 确 定性 测试 指 测试 
结果 不 确定 的 用 例 〉。 

创建 冒 烟 测试 集合 。 

级 别 2 

如 果 有 测试 运行 结果 为 红色 (译注 : 表示 运行 失败 的 用 例 ) UA 
做 发 布 。 

在 每 次 代码 提交 之 前 都 要 求 通过 冒 烟 测试 。 

各 种 类 型 测试 的 整体 增 量 履 盖 率 要 大 于 509%。 

小 型 测试 的 增 量 履 盖 率 要 大 于 10%。 

每 一 个 功能 特性 至 少 有 一 个 与 之 对 应 的 集成 测试 用 例 。 

RIN 

所 有 重要 的 代码 变更 都 要 经 过 测试 。 

小 型 测试 的 增 量 禾 六 率 要 大 于 50%。 

新 增 的 重要 功能 都 要 经 过 集成 测试 的 验证 。 

级 列 4 

在 提交 任何 新 代码 之 前 都 会 自动 运行 冒 烟 测试 。 

冒 烟 测试 必须 在 30 分 钟 内 运行 完毕 。 

没有 不 确定 性 的 测试 。 

总 体 测试 履 盖 率 应 该 不 小 于 409%。 

小 型 测试 的 代码 履 盖 率 应 该 不 小 于 25%。 

所 有 重要 的 功能 都 应 该 被 集成 测试 验证 到 。 

级 列 5 




















对 每 一 个 重要 的 缺陷 修复 都 要 增加 一 个 测试 用 例 与 之 对 应 。 

积极 使 用 可 用 的 代码 分 析 工 具 。 

总 体 测 斌 覆盖 率 不 低 于 60%。 

小 型 测试 的 代码 覆盖 率 应 该 不 小 于 409%。 

最 初 这 个 计划 在 一 些 测试 意识 较 高 的 团队 中 缓慢 试 水 ， 这 些 团队 成 
员 热 囊 于 改进 他 们 的 测试 实践 。 经 过 在 这 几 个 团队 的 成 功 试验 之 后 ， 一 
个 规模 更 大 的 、 公 司 级 别 的 认证 竞赛 开始 推行 起 来 了 ， 然 后 在 新 加 入 的 
团队 中 再 推行 这 个 计划 就 变 得 容易 的 多 。 

这 并 不 像 一 些 人 想象 的 那么 难以 被 接受 ， 开 发 团队 也 从 中 收益 颇 
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开发 团队 得 到 许多 优秀 测试 人 员 的 关注 ， 这 些 测试 人 员 一 般 都 报名 

成 为 测试 认证 教练 。 在 一 个 测试 资源 稀缺 的 文化 氛围 里 ， 注 册 参 加 这 个 
项 目 会 吸引 到 比 一 般 团队 更 多 的 测试 人 员 的 加 入 。 

他 们 获得 专家 的 指导 ， 并 学 习 到 如 何 更 好 地 编写 小 型 测试 。 

他 们 知道 哪个 团队 在 测试 上 做 的 比较 好 ， 并 辣 这 个 团队 学 习 。 

他 们 能 够 向 其 他 的 认证 级 别 较 低 的 团队 进行 炫耀 。 

经 过 公司 级 别 的 推进 ， 绝 大 多 数 团 队 都 在 不 断 癌 前 进步 ， 并 意识 到 
这 个 计划 的 重要 性 。 一 些 在 这 个 计划 中 表现 不 错 的 开发 总 监 会 得 到 工程 
生产 力 团 队 的 优秀 反馈 ， 而 嘲笑 这 个 计划 的 团队 也 会 置 自身 于 危险 之 
中 。 换 句 话 说， 在 一 个 测试 资源 相对 稀缺 的 公司 里 ， 哪 个 团队 会 舍得 与 
LE ABBA mie? 但 并 非 哪 里 都 是 鲜花 与 学 声 ， 让 运行 这 个 计划 
的 负责 人 来 给 我 们 讲述 完整 的 故事 吧 。 

2.2.1 与 测试 认证 计划 创始 人 的 访谈 

本 访谈 的 作者 和 四 名 Google 工 程 师 坐 在 一 起 ， 他 们 曾 为 测试 认证 计 
划 的 开展 起 到 了 关键 性 的 作用 。Mark Striebeck 是 Gmail 的 开发 经 理 ; 
Neal Norwitz 是 关注 开发 速度 工具 的 SWE; Tracy Bialik 和 Russ Rufer 是 
非 管理 角色 的 SET， 他 俩 是 公司 级 别 最 高 的 SET， 也 都 是 资深 级 的 工程 














师 。 

HGTS: 测试 认证 计划 的 起 源 是 什么 ”最 初 测试 认证 团队 试图 去 解 
决 什么 样 的 问题 ? 现在 这 个 计划 竺 试 去 解决 的 问题 相 比 还 是 同样 的 问题 
Hu ? 

Tracy: 我 们 企图 去 改变 Google 的 开发 文化 ， 想 把 测试 工作 也 变 成 
每 个 功能 开发 人 员 的 职责 。 大 家 共享 许多 在 测试 方面 有 积极 意义 的 经 
验 ， 并 鼓励 整个 团队 都 去 做 测试 。 有 些 团 队 比较 感 兴趣 ， 但 不 知道 具体 
怎样 去 操作 。 另 外 的 一 些 团 队 会 把 “提高 测试 ?作为 团队 目标 或 绩效 《〈 译 
YE: objectives and key results， 简 写 OKRs， 是 个 人 、 团 队 ， 甚 至 公司 每 
个 季度 都 要 订 制 的 目标 。 基 本 上 这 些 事情 都 需要 个 人 或 团队 完成 ) ， 这 
通常 并 没有 什么 实际 的 可 操作 性 ， 有 点 像 把 < 减肥 ”作为 新 的 年 度 目 标 一 
样 。 那 样 其 实 也 没什么 不 好 ， 至 少 有 全 高 的 目标 。 但 是 ， 如 果 这 就 是 你 
要 说 的 一 切 ， 未 来 有 朝 一 日 发 现 并 没有 变 成 现实 ， 你 也 千 万 不 要 感觉 奇 
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汕 试 认证 计划 提供 了 小 而 清晰 且 可 操作 的 步骤 给 团队 去 执行 。 级 别 
1 是 做 基本 准备 : 建立 测试 运行 的 自动 化 机 制 、 收 集 测 试 覆 盖 率 、 去 除 
所 有 非 确定 性 的 测试 、 挑 选 冒 烟 测 试 集合 (如 果 全 部 目 动 化 测试 运行 比 
较 耗 时 的 话 ) 。 级 别 越 高 就 会 变 得 越 难 ， 也 需要 越 成 熟 的 测试 度 。 级 别 
2 开始 着 重 提高 增 量 覆 盖 率 。 级 别 3 重点 是 测试 新 增 代 码 。 级 别 4 的 重点 
古 测 试 历史 遗留 代码 ， 通 常情 况 下 需要 针对 可 测试 性 做 一 些 重 构 。 级 别 
5 要 求 更 好 的 整体 上 覆盖 率 ， 针 对 每 个 缺陷 都 增加 测试 用 例 ， 并 要 求 使 用 
己 有 可 用 的 静态 与 动态 分 析 检 查 工 具 。 
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然 最 早 的 问题 已 经 得 到 了 解决 ， 但 是 我 们 依然 需要 为 团队 提供 更 高 的 测 
试 成熟 能 力度 而 做 一 些 事情 。 测 试 认 证 持续 不 断 地 在 为 这 个 目标 服务 。 

HGTS: 测试 认证 团队 最 初 从 SWE 那 里 收集 到 的 反馈 是 怎样 的 ? 

Neal: 测试 认证 计划 太 难 了 。 他 们 认为 我 们 把 目标 设 定 的 过 高 ， 结 











果 导 致 许多 团队 还 在 初级 层 里 挣扎 。 我 们 需要 重新 设 定 认 证 级 别 ， 设 定 
为 使 他 们 只 要 在 空闲 时 间 里 努力 就 可 以 达到 的 级 别 。 当 时 Google 的 工具 
也 有 一 些 问题 ， 而 且 我 们 当时 要 求 的 一 些 想法 太 过 超前 。 对 于 参与 的 同 
事 们 来 说 的 确 难以 去 开展 进行 ， 因 此 我 们 不 得 不 考虑 提供 一 些 容易 达成 
的 目标 ， 使 他 们 相信 自己 在 不 断 地 进步 中 。 

Mark: 是 的 ， 我 们 不 得 不 把 目标 向 下 做 了 几 轮 调整 。 我 们 设置 了 
一 些 更 加 实际 的 目标 ， 试 图 在 半路 上 与 他 们 相遇 。 当 然 最 终 还 是 要 达成 
我 们 的 终极 目标 ， 只 是 需要 的 时 间 更 长 。 虽 然 我 们 并 不 在 意 时 间 变 长 ， 
但 还 是 希望 在 某 些 地 方 可 以 加 速 。 我 们 把 第 一 个 级 别 修改 为 “搭建 持续 
集成 环境 ， 保 证 建成 ， 并 清楚 自己 的 测试 覆盖 率 ”。 这 些 是 很 容易 达到 
的 ， 但 它 建 立 起 一 些 制 度 并 使 大 家 的 状态 从 无 变 到 有 ， 并 产生 积极 向 上 
的 动力 。 

HGTS: 有 谁 迫不及待 地 想 参 与 进来 ? 

Neal: 最 早 参与 的 人 通常 是 测试 圈子 里 的 人 。 这 一 小 群 人 定期 举行 
会 议 ， 多 数 是 对 测试 非常 热衷 的 人 。 我 们 慢 慢 地 把 其 他 认识 的 人 也 拉 进 
来 。 当 时 有 许多 热心 的 积极 参与 者 ， 这 对 我 们 来 说 是 个 惊喜 。 我 们 通过 
ToTT (YE: ToTT， 是 Testing on the Toilet 的 简写 ， 直 译 为 “马桶 上 的 测 
试 ?。 本 书 前 面 的 内 容 也 有 所 提 及 ， 在 Google 测 试 博 
客 “http://googletesting.blogspot.com” 上 经 常 出 现 ) 和 其 他 的 一 些 活 动 把 
测试 搞 得 充满 热情 ， 更 有 趣味 和 吸引 力 ， 包 括 fixits( 注 : fixits 是 另外 一 
个 Google 的 文化 活动 ， 促 使 人 们 一 起 “修复 ”一 些 注定 要 损坏 的 东西 。 
队 可 能 会 举行 一 个 fixit 来 降低 bug， 男 外 一 些 团队 或 许 会 搞 一 个 针对 安全 
测试 方面 的 fixit， 也 可 以 用 来 在 c 代 码 中 增加 ##nclude 的 使 用 或 者 用 以 
重 构 。fixit 可 以 跨越 技术 领域 ， 可 以 用 来 增加 咖啡 馆 的 食物 或 怎样 让 会 
议 进行 地 更 加 平滑 。 任 何 一 个 活动 ， 只 要 一 起 参与 能 够 解决 通用 问题 ， 
都 是 一 个 fixit) 、VP 的 邮件 、 海 报 、TGIF 上 的 分 享 等 活动 。 

Mark: 一 旦 有 的 新 的 团队 参与 进来 时 (当时 已 经 有 许多 团队 对 我 


























们 这 个 计划 感 兴趣 ) ， 他 们 会 意识 到 : CO 需要 提前 做 一 些 功课 ; €) 不 
必 有 专业 知识 。 那 些 专业 知识 会 让 初学 者 产生 挫败 感 。 

HGTS: 有 谁 不 愿意 参与 这 个 计划 吗 ? 

Neal: 多 数 项 目 都 不 愿意 参加 。 正 如 我 上 面 提 到 的 ， 这 个 计划 难度 
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调整 的 更 容易 一 些 ， 使 他 们 能 够 利用 一 个 下 午 的 时 间 就 把 需要 的 测试 任 
务 完成 〈 在 我 们 的 帮助 下 他 们 的 确 也 做 到 了 ) 。 

Mark: 还 有 ， 当 时 还 处 于 另外 一 种 状况 ， 测 试 的 价值 和 自动 化 测 
WE Google 还 没有 被 真正 认可 。 与 今日 不 同 ， 甚 至 情况 完全 相反 。 那 
个 时 候 ， 多 数 团队 也 认可 这 是 一 个 非常 酷 的 想法 ， 但 他 们 还 有 更 重要 的 
事情 要 去 完成 〈 例 如 写 产 品 的 功能 代码 ) 。 

HGTS: 最 初 ， 一 些 参与 团队 必须 要 去 克服 的 困难 是 什么 ? 

Neal: 惯性 ， 糟 料 的 测试 ， 没 有 测试 时 间 。 测 斌 被 当做 其 他 开发 人 
员 的 问题 ， 或 者 测试 是 测试 团队 的 问题 ， 跟 我 没有 关系 。 在 写 功 能 代码 
的 时 候 ， 谁 有 时 间 去 写 测试 代码 啊 ? 

Mark: 尝试 寻找 下 面 的 团队 : CO 足够 感 兴趣 ; © 没有 太 多 的 见 余 
代码 ; @ ”在 团队 中 有 一 个 测试 战神 (对 测试 足够 的 了 解 的 人 )〉 。 这 是 
我 们 测试 认证 计划 在 团队 里 的 三 大 障碍 ， 我 们 会 一 个 一 个 团队 地 去 解 














决 。 
HGTS: 是 什么 把 测试 认证 计划 推 回 了 主流 ? 是 病毒 性 的 爆发 还 是 
线性 的 增长 ? 


Russ: 首先 是 一 批 试点 团队 ， 他 们 对 测试 特别 友好 。 早 期 的 测试 认 
证 计划 勤 吹 者 也 和 我 们 保持 比较 杀 密 的 联系 。 初 期 很 好 地 选择 了 参与 
者 ， 基 本 上 都 是 一 些 很 容易 成 功 的 团队 。 

在 2007 年 中 期 ， 我 们 宣布 测试 认证 计划 “正式 启动 ”的 时 候 ， 有 15 个 
试点 团队 在 这 个 计划 的 不 同 级 别 上 运行 着 。 在 正式 宣布 之 前 ， 我 们 在 山 











景 城 、 纽 约 和 其 他 地 点 的 所 有 办 公 大 楼 上 张贴 “神秘 的 测试 认证 ”的 大 海 
报 ， 每 个 海报 上 用 图 片 印 着 各 个 试点 团队 名 字 ， 使 用 的 是 内 部 项 目 名 
称 ， 如 Rubix、Bounty、Mondrian 和 Red Tape。 海 报 上 唯一 的 文字 是 “未 
来 就 是 现在 ”和 “人 至 关 重 要 ， 英 被 遗弃 ”， 还 有 一 个 链接 。 oe 
Google 同 事 那 里 ， 我 们 得 到 了 大 量 点 击 访问 ， 多 数 人 想 去 一 探究 竟 ， 还 
有 一 些 人 想 去 验证 自己 的 猜测 是 否 正确 。 同 时 我 们 也 使 用 ToTT 来 宣传 
这 个 新 计划 ， 并 把 读者 指引 到 他 们 能 够 得 到 信息 的 地 方 。 这 是 一 个 信息 
闪电 战 。 

宣传 网 站 上 有 一 些 信 息 ， 包 括 为 什么 测试 认证 对 于 团队 很 重要 ， 以 
及 用 户 可 以 得 到 怎样 的 帮助 。 里 面 强调 指出 ， 参 与 团队 会 从 一 个 很 大 的 
测试 专家 社区 里 得 到 一 个 测试 认证 教练 ， 同 时 还 会 得 到 两 个 礼物 一 一 一 
个 表示 构建 状态 的 发 光 魔 法 球 ， 可 以 告诉 团队 他 们 的 《一 般 是 新 的 ) 持 
续集 成 是 通过 绿色) 还 是 失败 〈 红 色 ) ; 另外 一 个 是 一 个 漂亮 的 星球 
大 战士 豆 头 工具 包 。 这 个 被 称 为 达 斯 土豆 工具 包 里 有 三 个 逐渐 变 大 的 格 
子 ， 每 当 团 队 达到 新 的 测试 认证 级 别 时 我 们 都 会 给 予 奖励 。 各 个 团队 展 
示 他 们 的 魔法 球 和 土豆 涉 ， 为 这 个 计划 吸引 来 更 多 好 奇 的 团队 和 和 融 来 更 
好 的 口碑 。 

测试 圈子 里 的 成 员 是 这 个 项 目的 第 一 批 教练 和 及 言 人 。 随 着 越 来 越 
多 团队 的 加 入 ， 有 许多 热情 的 工程 师 帮 助 造势 ， 自 己 也 成 为 其 他 团队 的 
教练 。 

每 次 我 们 答 试 说 服 更 多 的 团队 加 入 这 个 计划 的 时 候 ， 都 会 与 他 们 逐 
一 讨论 理由 和 原因 。 一 些 团队 是 由 于 你 能 使 他 们 信服 每 一 个 级 别 和 教练 
都 会 帮助 团队 在 这 个 领域 有 所 提高 而 加 入 的 。 一 些 团队 认为 他 们 会 有 所 
改善 ， 并 坚信 这 种 “官方 ”级 别 评定 会 使 他 们 因为 当前 正在 做 的 工作 得 到 
好 评 。 男 外 的 一 些 团 队 ， 他 们 本 里 的 测试 成 熟 度 已 经 很 蜗 了 ， 但 加 入 这 
个 计划 ， 会 给 其 他 的 团队 发 出 一 种 信号 ， 表 示 他 们 已 经 很 重视 测试 了 。 

几 个 月 之 后 ， 大 约 有 50 个 团队 参与 进来 ， 许 多 有 了 蜡 力 的 测试 工程 师 









































签约 成 为 测试 认证 计划 的 教练 。 这 是 一 个 在 团队 工程 师 和 工程 生产 力 团 
以 之 间 强 大 的 合作 关系 的 开始 。 

这 是 一 个 病毒 爆发 式 的 增长 ， 通 过 许多 一 对 一 草根 之 间 的 对 话 发 展 
起 来 。 虽 然 我 们 有 明确 地 要 求 一 些 团队 参与 进来 ， 但 也 有 另外 的 团队 有 自 
己 找 上 门 来 。 

大 概 一 年 后 ， 有 一 百 多 个 团队 通过 测试 认证 ， 加 入 测试 认证 计划 的 
速度 开始 慢 慢 地 放 慢 。 时 任 志 愿 者 主管 Bella ^ Kazwell 策 划 了 一 个 活动 
一 一 测试 认证 挑战 。 该 挑战 活动 开 有 了 一 个 积分 系统 ， 新 增 测试 、 引 入 
新 团队 参与 计划 、 提 高 团队 测试 实践 或 提升 测试 认证 级 别 等 活动 会 被 计 
算 进 来 。 同 时 ， 有 一 些 个 人 奖项 、 全 球 的 项 目 都 参与 进来 ， 比 拼 谁 是 最 
局 分 获得 者 。 志 愿 者 被 激励 ， 随 之 又 激励 了 公司 里 更 多 的 团队 ， 使 测试 
认证 计划 再 次 加 速 ， 并 吸引 了 更 多 的 志愿 者 教练 。 

参与 测试 认证 的 团队 一 般 都 使 用 每 个 级 别 的 标准 作为 可 度量 的 团队 
目标 。 到 2008 年 后 期 ， 一 些 团队 的 经 理 开 始 使 用 这 个 作为 他 们 的 团队 目 
标 ， 而 工程 生产 力 团 队 使 用 一 个 团队 在 测试 认证 计划 里 的 级 别 ， 来 评测 
这 个 团队 在 提高 测试 方面 的 重视 程度 ， 并 在 决定 是 否 同一 个 团队 投入 有 
限 测试 资源 时 作为 一 个 重要 的 参考 指标 。 在 某 些 限定 的 领域 ， 一 个 团队 
是 否 达 到 特定 的 测试 认证 级 别 已 经 成 为 管理 上 的 期 望 或 启动 的 标准 。 

在 2011 年 ， 不 断 有 新 的 志愿 教练 加 入 ， 也 不 断 有 新 团队 签约 加 入 ， 
测试 认证 已 经 在 整个 公司 中 运行 起 来 。 

HGTS: 在 最 初 的 两 年 测试 认证 计划 做 了 哪些 变化 ? 每 个 级 别 的 要 
求 有 什么 变化 么 ?教练 系统 有 变化 么 ? 对 于 参与 者 在 体验 方面 有 哪些 改 
进 ? 

Tracy: 对 认证 级 别 的 数量 和 一 些 级别 要 求 做 了 调整 ， 这 是 最 大 的 
变化 。 最 初 我 们 有 四 个 级 别 。 从 级 别 0 到 级 别 1， 有 意 地 设计 成 比较 容易 
就 可 以 达到 。 许 多 团队 ， 特 别 是 一 些 可 测试 性 比较 差 且 有 遗留 代码 的 团 
队 ， 发 现 从 级 别 1 到 级 别 2 非常 困难 。 这 些 团 队 会 比较 受挫 ， 并 有 意 问 























退出 测试 认证 计划 。 我 们 在 级 别 1 和 级 别 2 之 间 增 加 了 一 个 稍微 简单 的 
新 级 别 。 我 们 把 这 个 新 级 别 定义 成 为 “1.5”， 但 实际 上 还 是 决定 把 新 增 的 
级 别 设 定 为 2， 并 把 后 面 所 有 的 级 别 +1。 

我 们 同时 发 现 有 一 些 要求 并 不 合适 ， 例 如 小 型 测试 、 中 型 测试 、 大 
型 测试 的 比例 要 求 并 不 适用 于 所 有 团队 。 在 我 们 增加 了 新 级 别 之 后 ， 同 
时 也 更 新 了 级 别 标准 。 我 们 在 新 增 了 “ 增 量 覆 新 率 ” 的 具体 比例 要 求 的 同 
时 ， 把 各 级 别 测试 的 比例 也 给 去 掉 了 。 

辅导 教练 始终 都 在 ， 但 许多 团队 已 经 进入 “自我 调教 "的 模式 。 由 于 
测试 文化 已 经 无 处 不 在 ， 许 多 团队 已 经 不 需要 我 们 再 提供 建议 了 。 他 们 
希望 跟踪 自己 的 进度 。 对 于 这 些 团 队 ， 我 们 不 再 指派 教练 ， 而 是 提供 一 
个 邮件 列表 用 来 回答 他 们 的 问题 ， 这 也 是 通过 另 一 双眼 睛 来 观察 他 们 级 
别 的 转换 。 

Russ: 值得 注意 的 是 ， 从 一 开始 ， 我 们 就 意识 到 测试 认证 标准 必须 
要 合理 地 制定 。 测 试 并 像 制 作 饼 干 ， 都 是 一 个 模子 里 出 来 的 。 在 我 们 选 
择 标准 的 时 候 会 发 现 有 一 些 团队 的 测试 状况 跟 我 们 心中 的 所 想 近 然 不 
同 ， 无 论 是 用 以 记录 测试 覆盖 率 的 工具 还 是 用 其 他 的 度量 方式 ， 各 有 千 
秋 。 但 每 一 个 标准 都 有 其 背后 的 合理 性 。 在 这 里 我 们 比较 开明 的 没有 一 
刀 切 ， 而 是 定制 化 了 一 些 多 数 团 队 可 以 满足 的 标准 。 

HGTS: 当前 如 果 一 个 团队 坚持 参与 测试 认证 计划 会 有 什么 收获 ? 
还 需要 投入 什么 ? 

Tracy: 可 以 把 这 个 作为 炫 泗 吹牛 的 资本 。 清 晰 明确 的 步骤 、 外 部 
的 帮助 、 一 个 看 起 来 很 酷 的 发 光 球 ， 但 对 于 团队 来 说 ， 真 正 的 收获 是 质 
量 方面 的 提升 。 

实际 投入 非常 小 ， 但 团队 需要 专注 于 改善 他 们 的 测试 成 熟 度 。 我 们 
有 一 个 定制 化 的 工具 ， 教 练 可 以 用 此 跟踪 团队 进度 ， 检 查 每 一 步 目 标 是 
否 达成 。 在 一 个 页 面 展 现 所 有 按照 级 别 排列 的 团队 数据 ， 可 以 通过 鼠标 
点 击 查 看 指定 团队 的 细节 数据 。 

















HGTS: 在 所 有 的 认证 级 别 里 ， 哪 个 级 别 会 给 团队 带 来 更 多 的 呆 
Ai? 

Tracy: 最 困难 的 一 步 是 “对 于 所 有 的 重要 代码 变更 ， 都 需要 经 过 测 
试 ”。 这 个 要 求 在 一 个 可 测试 性 很 好 的 项 目 中 比较 容易 做 到 ， 但 对 于 一 
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特殊 代码 路 径 ， 然 后 再 上 自动化。 从 长 远 角 度 看 ， 更 好 的 办 法 是 代码 重 
构 ， 从 而 获得 展 好 的 可 测试 性 。 有 一 些 团队 ， 在 写 代 码 的 时 候 没有 考虑 
到 可 汕 试 性 ， 一 样 会 发 现 很 难 去 达到 足够 的 测试 获 盖 率 ， 不 管 是 单元 测 
试 ， 还 是 端 到 站 的 测试 。 

HGTS: 在 Google 一 般 的 活动 只 会 持续 数 周 或 一 个 季度 ， 但 是 测试 
认证 计划 已 经 运行 了 近 五 年 而 且 疫 有 迹象 表明 会 停止 。 古 什么 导致 测试 
认证 计划 经 过 了 时 间 的 考验 ? 测试 认证 之 后 会 面临 什么 挑战 ? 

Russ: 能 够 保持 活力 的 原因 ， 不 是 因为 这 是 个 体 参与 活动 ， 而 是 因 
为 这 是 一 次 公司 文化 的 变迁 。 随 着 一 系列 活动 ， 测 试 小 团队 、ToTT、 
文 持 邮 件 列 表 、 拉 术 交 流 、 晋 升 贡献 、 代 码 风 格 文 要 ， 第 规 的 汕 试 己 经 
演变 成 为 公司 所 有 工程 师 必 须要 做 的 事情 。 不 管 一 个 团队 是 否 参与 了 测 
试 认证 计划 ， 这 个 团队 总 是 希望 有 一 个 经 过 深 轧 熟 虑 的 上 自动 化 测试 集 
略 ， 这 些 策略 来 目 于 一 部 分 测试 专家 ， 不 管 是 团队 内 部 还 是 外 部 的 专 
家 。 

能 够 持续 至 今 也 证 明 这 个 计划 是 可 行 的 。 只 有 很 少 一 部 分 领域 在 使 
用 手动 测试 。 在 这 样 的 情况 下 ， 测 试 认证 计划 已 经 完成 了 它 的 使 命 。 它 
会 被 作为 伟大 的 历史 遗产 ， 即 使 这 个 官方 的 草根 计划 茶 天 真 的 结束 了 。 

HGTS: 有 什么 建议 要 给 其 他 公司 的 同行 ? 如 果 他 也 想 在 自己 的 组 
织 里 考虑 类 似 的 计划 ? 

Tracy: 从 一 些 对 测试 比较 认可 且 友 好 的 团队 开始 ， 培 养 一 批 可 以 
从 你 的 计划 中 受益 的 核心 团队 。 在 激励 和 赞美 方面 不 要 害 闭 ， 甚 至 要 求 





























其 他 人 也 来 说 好 话 。 民 好 的 教练 是 测试 认证 计划 成 功 的 一 个 重要 原因 。 
如 有 果 你 想 要 求 一 个 团队 去 尝试 新 的 事物 或 者 做 茶 些 改进 ， 给 他 们 提供 一 
个 联系 人 会 更 好 一 些 ， 这 个 联系 人 来 源 于 更 大 的 社区 ， 并 可 以 从 他 那里 
得 到 帮助 。 一 个 工程 师 或 团队 如 果 在 一 个 邮件 列表 中 间 了 一 个 很 傻 的 问 
题 ， 会 感觉 比较 尴 礁 ， 但 询问 对 象 如 果 是 一 个 可 以 信任 的 测试 认证 教练 
的 话 ， 这 将 会 好 很 多 。 

同时 ， 寻 找 一 些 让 你 的 计划 变 得 有 趣 的 方法 。 为 你 的 计划 取 一 个 好 
的 名 字 ， 最 好 不 要 包含“ 认证 ?字样 ， 这 可 能 会 引起 见识 短 浅 的 官僚 主 
义 。 或 者 像 我 们 一 样 ， 就 使 用 一 个 目光 短 浅 的 名 字 “ 测 试 认证 ”， 但 要 不 
斯 地 提醒 大 家 注意 我 们 知道 这 是 一 个 不 好 的 名 字 ， 这 只 是 一 个 反 语 ， 用 
以 衬托 你 的 计划 其 实 并 不 是 这 样 的 。 每 一 个 步骤 包含 的 内 容 要 尽 可 能 的 
少 ， 这 样 大 家 可 以 看 见 自己 的 进步 。 不 要 陷入 演 试 去 创建 一 个 包含 独立 
指标 的 完美 系统 的 陷阱 中 。 对 所 有 人 都 完美 的 事情 是 不 存在 的 。 在 没有 
可 蔡 代 的 方案 时 ， 在 合理 的 地 方 达 成 一 致 并 勇往直前 是 很 重要 的 。 需 要 
灵活 的 时 候 就 灵活 一 些 ， 但 一 定 要 坚持 你 的 原则 底线 。 

到 此 本 章 已 结束 。 后 面 是 可 选 阅读 部 分 ， 关 于 Google 如 何 面试 
SET、 与 Google 工 程 师 Ted Mao 的 访谈 ， 以 及 关于 Google SET 使 用 的 工 
有 具 等 资料 。 














2.3 SET 的 招聘 


优秀 的 SET 在 各 个 方面 都 很 出 色 : 是 一 个 编码 能 力 很 强 的 程序 员 ， 
可 以 写 功能 代码 ; 也 是 一 个 能 力 很 强 的 测试 者 ， 可 以 测试 任何 产品 ， 有 
能 力 管理 他 们 自己 的 工作 和 工具 。 优 秀 的 SET 不 仅 可 以 看 到 树木 而 且 可 
以 看 到 整个 木林， 在 看 到 小 段 函 数 原型 或 者 API 的 时 候 ， 就 能 想到 各 种 
使 用 这 段 代码 的 方法 以 及 怎样 破坏 这 段 代 码 。 

在 Google， 所 有 的 代码 都 存放 在 同一 个 代码 库 中 ， 这 意味 着 任何 人 
可 以 在 任何 时 间 使 用 里 面 的 任何 代码 ， 所 以 代码 本 身 一 定 要 可 靠 且 稳 
Eo SET 不 仅仅 要 发 现 功能 开发 人 员 遗 漏 的 代码 缺陷 ， 而 且 还 要 去 关心 
其 他 的 工程 师 是 如 何 使 用 这 些 代码 模块 ， 并 确保 这 种 使 用 方式 是 没有 问 
题 的， 甚至 还 会 去 关心 这 些 代码 未 来 适用 的 功能 。 由 于 Google 前 进 变化 
的 速度 非常 快 ， 所 以 代码 一 定 要 保持 干净 、 连 贯 一 致 。 在 最 初 的 代码 作 
者 都 不 再 关心 这 些 代码 的 时 候 ， 仍 要 保证 这 些 代码 可 以 正常 工作 。 

在 面试 的 过 程 中 我 们 如 何 考察 这 些 技 能 和 心态 呢 ? 这 可 不 是 一 件 容 
易 的 事 但 幸运 的 是 ， 我 们 已 经 找到 了 上 百 个 满足 条 件 的 工程 师 。 我 们 期 
望 有 这 样 的 混合 型 人 才 : 对 测试 有 强烈 兴趣 和 天 资 的 开发 人 员 。 一 个 通 
用 且 有 效 的 招募 优秀 SET 的 方法 是 ， 给 候选 人 和 其 他 开发 角色 一 样 的 编 
程 问 题 ， 并 考察 他 们 在 处 理 质 量 与 测试 方面 的 方法 。 在 面试 过 程 中 ， 
SET 有 两 次 回答 错误 的 机 会 。 

常常 通过 一 些 简 单 的 问题 就 可 以 识别 出 哪些 是 优秀 的 SET。 在 一 些 
国手 的 编码 问题 或 功能 的 正确 性 上 浪费 时 间 ， 不 如 考核 他 们 是 如 何 看 待 
编码 和 质量 的 。 在 SET 的 一 轮 面 试 中 会 有 一 个 SWE 或 SET 来 考察 算法 方 
面 的 问题 。 对 于 候选 者 ， 最 好 去 考察 如 何 思索 问题 的 解决 方案 ， 而 不 是 


























解决 方案 本 映 的 实现 上 体现 得 多 么 高 雅 。 

注意 

SET 的 面试 重点 在 考察 候选 人 如 何 思索 问题 的 解决 方案 ， 而 不 是 解 
决 方案 本 身 的 实现 上 有 多 么 高 雅 。 

这 里 有 一 个 例子 。 假 如 这 是 你 第 一 天 上 班 ， 你 被 要 求 去 实现 一 个 函 
数 acount(void* s)， 返 回 一 个 字符 串 中 大 写字 母 A 出 现 的 次 数 。 

如 果 候 选 人 上 来 就 直接 开始 写 代 码 ， 这 无 非 在 传递 一 个 强烈 的 信 
A: 只 有 一 件 事情 需要 去 做 而 我 正在 做 这 个 事情 ， 这 个 事情 就 是 写 代 
fJ. SET 不 会 遵循 这 样 的 世界 观 。 我 们 希望 先 把 问题 摘 清 楚 。 

这 个 函数 是 用 来 做 什么 的 ? 我 们 为 什么 要 构建 它 ? 这 个 函数 的 原型 
看 起 来 正确 吗 ? 我 们 期 望 候 选 人 可 以 关心 函数 的 正确 性 以 及 如 何 验证 期 
望 的 行为 。 一 个 问题 值得 更 多 的 关注 ! 候选 人 如 果 没 头 没 脑 地 就 跳 进来 
编码 ， 试 图 解决 问题 ， 在 对 得 测试 问题 上 他 同样 会 没 头 没 脑 。 如 果 我 们 
提出 一 个 问题 是 给 模块 增加 测试 场景 ， 我 们 不 希望 候选 人 上 来 就 直接 开 
始 罗 列 所 有 可 能 的 测试 用 例 ， 直 到 我 们 强迫 他 停 下 来 。 其 实 我 们 只 是 希 
望 他 先 执行 最 佳 的 测试 用 例 。 

SET 的 时 间 是 有 限 的 。 我 们 希望 候选 人 能 够 回 过 头 来 寻找 最 有 效 的 
解决 问题 的 方法 ， 为 先前 的 函数 定义 可 以 做 一 些 改进 。 优 秀 的 SET 在 面 
对 拙劣 的 API 定 义 的 情况 下 ， 在 测试 的 过 程 中 也 可 以 把 这 个 API 定 义 变 
得 更 漂亮 一 些 。 

普通 的 候选 人 会 花 几 分 钟 通过 提问 题 和 陈述 的 方式 来 理解 需求 文 
档 ， 例 如 以 下 几 点 。 

传 入 的 字符 串 编码 是 什么 ASCII、UTF-8 或 其 他 的 编码 方式 ? 

函数 名 字 比 较 槽 糕 ， 应 该 是 驼峰 式 〈CamelCased) 的 ? 需要 更 多 说 
明 描 述 ， 还 是 这 里 应 该 遵循 其 他 的 什么 命名 规范 ? 

返回 值 类 型 是 什么 “〈 或 许 面 试 官 悉 记 了 ， 上 所 以 我 会 增加 一 个 int 类 
型 的 返回 值 在 函数 原型 之 前 ) ? 

















void* 是 危险 的 。 我 们 应 该 考虑 更 合适 的 类 型 ， 如 char* 。 在 一 些 编 
译 时 刻 类 型 检查 中 可 以 为 我 们 提供 一 些 帮 助 。 

如 有 果 只 有 一 个 A 的 情况 ， 计 数 结果 是 多 少 ? 它 对 小 写字 母 a 也 计数 
Hu ? 

在 标准 库 中 不 是 已 经 有 这 样 的 函数 了 吗 〈 为 了 面试 的 目的 ， 假 装 你 
是 第 一 个 实现 这 个 函数 功能 的 人 ) ? 

更 好 的 候选 人 则 会 考虑 的 更 多 一 些 。 

考虑 一 下 扩展 性 : 或 许 返 回 值 的 类 型 应 该 是 一 个 64 位 的 整形 ， 因 为 
Google 经 常 涉及 海量 数据 。 

考虑 一 下 复 用 性 : 为 什么 这 个 函数 是 针对 大 写字 母 A 进 行 计 数 的 ? 
一 个 好 的 办 法 是 参数 化 ， 使 得 任意 的 字符 都 可 以 被 计数 ， 而 不 是 使 用 不 
同 的 函数 来 实现 。 

考虑 一 下 安全 性 : 这 些 指针 都 是 来 自 于 可 信任 的 地 址 吗 ? 

最 佳 的 候选 人 会 这 样 考 虑 。 

考虑 扩展 性 。 

这 个 函数 会 在 Shared ^ data (EVE: 数据 分 区 ， 是 数据 库存 储 分 割 
(partition) 的 一 种 方式 。 水 平分 割 是 一 个 数据 库 的 设计 和 准则， 数据 以 
记录 行 的 方式 存储 在 不 同 的 物理 位 置 ， 而 不 是 通过 不 同 列 的 方式 存储 。 
更 多 参见 See http://en.wikipedia.org/wiki/Shard_(database_architecture) ) 
上 被 作为 MapReduce〈 注 : MapReduce 是 分 布 式 计算 编程 模型 ， 更 多 参 
见 http://en.wikipedia.org/wiki/Map Reduce) 的 一 部 分 运行 吗 ? 或 许 这 才 
是 调用 这 个 函数 最 有 用 的 形式 。 在 这 个 场景 需要 考虑 一 些 什么 问题 吗 ? 
针对 整个 互联 网 的 所 有 文档 运行 这 个 函数 ， 该 如 何 考 虑 性 能 和 正确 性 ? 

如 果 这 个 子 程序 被 每 一 个 Google 查 询 所 调用 ， 而 且 由 于 外 部 的 封装 
层面 已 经 对 参数 做 了 验证 ， 传 递 的 指针 是 安全 的 ， 或 许 减少 一 个 空 指针 
的 检 碍 会 每 天 节省 上 亿 次 的 CPU 调用 周期 ， 并 缩短 用 户 的 啊 应 时 间 。 最 
少 要 理解 全 部 参数 验证 带 来 的 潜在 影响 。 























考虑 基于 常量 的 优化 。 

我 们 可 以 假设 输入 的 数据 是 已 经 排 好 顺序 的 吗 ? 如 果 是 那样 ， 我 们 
或 许可 以 在 找到 第 一 个 大 写字 母 B 之 后 就 快速 退出 。 输 入 的 数据 是 什么 
结构 ? 多 数 情况 下 都 是 A 吗 ? 多数 是 字符 的 混合 ， 还 是 只 包含 字母 A 和 
空格 ? 如 果 那 样 ， 在 我 们 比较 指令 的 地 方 或 许可 以 做 些 优化 。 当 在 处 理 
大 数据 ， 甚 至 小 数据 的 时 候 ， 在 代码 执行 的 时 候 对 于 真实 的 计算 延迟 也 
会 有 比较 显著 的 亚 线 性 变化 。 

考虑 安全 性 。 

在 许多 系统 上 ， 如 果 这 是 一 段 对 于 安全 敏感 的 代码 ， 可 以 考虑 更 多 
的 非 空 的 指针 做 测试 。 在 某 些 系统 上 ，1 是 一 个 非法 的 指针 。 

增加 一 个 字符 长 度 的 参数 ， 用 以 保证 代码 不 会 运行 到 指定 字符 串 之 
外 的 部 分 。 检 得 字符 串 长 度 ， 这 个 参数 的 值 是 否 正常 。 那 些 不 是 以 null 
结尾 的 字符 串 是 黑客 们 的 最 爱 。 

如 果 指 针 指 问 的 数据 能 被 其 他 的 线程 修改 ， 这 里 束 有 潜在 的 线程 安 
全 问题 。 

我 们 是 否 应 该 使 用 try/catch 来 捕获 异常 的 发 生 ? 或 者 如 果 未 能 如 预 
期 那样 正常 的 调用 代码 ， 我 们 或 许 应 该 返回 错误 代码 给 调用 者 。 如 果 有 
错误 代码 的 话 ， 这 些 代码 经 过 民 好 的 定义 并 有 文档 吗 ? 这 意味 着 候选 人 
在 思考 大 型 代码 库 和 运行 时 刻 的 上 下 文 环境 方面 的 问题 ， 这 样 的 思索 可 
以 避免 错误 代码 的 重复 和 遗漏 。 

基本 上 ， 最 佳 候 选 人 会 有 针对 性 地 提出 一 些 新 观点 。 如 果 这 些 观点 
比较 明智 的 话 ， 它 们 都 是 值得 考虑 的 。 

注意 

一 个 优秀 SET 候选 人 不 应 该 被 告 之 要 去 测试 代码 ， 这 应 该 是 SET 自 
然 要 考虑 的 地 方 。 

所 有 这 些 面 试问 题 ， 无 论 是 针对 问题 本 映 还 是 针对 输入 参数 都 有 一 
个 关键 之 处 ， 那 束 是 任何 通过 入 门 级 别 编程 课程 的 工程 师 都 可 以 针对 这 
































个 问题 号 出 简单 的 功能 代码 。 优 秀 的 候选 人 和 普通 的 候选 人 在 提问 和 思 
路 上 的 表现 会 杀 然 不 同 。 我 们 要 确保 候选 人 能 够 感觉 足够 舒适 地 去 提出 
问题 ， 如 果 没 有 问题 ， 我 们 就 引导 他 们 去 提问 ， 确 保 他 们 不 会 因为 当前 
是 在 面试 就 直接 去 写 代码 。Google 的 人 应 该 质疑 几乎 所 有 事情 ， 但 仍然 
会 把 问题 解决 掉 。 

在 这 里 ， 如 果 把 这 个 面试 问题 的 所 有 正确 实现 与 常见 错误 都 罗列 一 
过 ， 肯 定 会 招 人 讨厌， 毕竟 这 不 是 一 本 关于 编程 或 面试 的 书 。 但 为 了 讨 
论 的 需要 ， 让 我 们 使 用 一 个 简单 且 常 见 的 代码 实现 方式 来 做 讨论 〈 译 
ik: 在 下 面 代码 中 ， 第 6 行 代 码 中 的 ‘a 应 该 是 大 写字 母 ‘A”， 原 书 有 
WR) 。 注 意 ， 候 选 人 一 般 都 会 选择 使 用 目 己 喜欢 的 编程 语言 ， 如 Java、 
python 等， 但 这 经 常会 引起 一 些 问题 ， 例 如 垃圾 收集 、 类 型 安全 、 编 译 
和 运行 时 刻 的 不 同 关 注 点 等 。 我 们 同时 要 确保 候选 人 可 以 正确 理解 这 些 
问题 。 

int64 Acount(const char* s) 1 

if (!s) 


return 0; 











int64 count = 0; 
while (*s++) 1 
if (*s == ‘a’) 
count++; 
} 
return count; 
} 
候选 人 应 该 可 以 走 人 查 他 们 的 代码 ， 指 出 程序 中 出 现 的 指针 或 计数 器 
的 值 在 测试 数据 输入 之 后 在 代码 运行 时 刻 是 如 何 变化 的 。 
般 来 说 ， 普 通 的 SET 候选 人 会 做 到 以 下 这 些 。 
在 通过 编写 代码 解决 问题 的 过 程 中 很 少 过 到 问题 。 在 编码 时 ， 函 数 











重 写 没 有 态 烦 ， 很 少 出 现 基 本 语法 错误 ， 也 不 会 混 消 不 同 语言 的 语法 和 
关键 词 。 

在 理解 指针 方面 没有 明显 错误 ， 或 者 没有 分 配 不 必要 的 内 存 。 

在 代码 开始 的 地 方 做 一 些 输 入 验证 ， 避 人 免 由 于 取 值 到 空 指针 等 引起 
比较 抹 烦 的 程序 崩 演 。 大 在 被 问 到 为 何不 做 参数 验证 的 时 候 ， 则 可 以 很 
好 地 解释 为 什么 要 这 样 做 。 

理解 运行 时 刻 效 率 或 程序 代码 的 大 O (译注 : 大 0 表示 法 描述 了 函 
数 在 运行 时 刻 需 要 消耗 的 时 间 ， 参 考 See 
http://en.wikipedia.org/wiki/Big_O_notation) 。 在 效率 上 ， 任 何 非 线 性 的 
运行 时 间 虽 然 说 明 程 序 可 用 ， 但 都 有 可 提升 的 空间 。 

在 被 指出 代码 中 有 小 的 问题 时 ， 可 以 修正 它们 。 

写 的 代码 干净 易 读 。 如 果 使 用 了 位 操作 或 把 所 有 的 代码 都 号 在 一 
行 ， 则 绝对 不 是 一 个 好 现象 。 代 码 即 使 在 功能 上 可 以 正常 工作 ， 读 起 来 
也 会 令 人 呕吐 。 

在 输入 为 一 个 A 或 null 的 时 候 ， 走 但 代码 确保 能 正常 工作 。 

更 优秀 的 候选 人 会 做 的 更 多 一 些 。 

考虑 使 用 64 位 整 型 int64 作 为 计数 器 变量 和 返回 值 的 类 型 ， 为 了 以 后 
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针对 分 布 式 的 计数 计算 而 准备 一 些 代 码 。 一 些 对 MapReduce 不 熟悉 
的 候选 人 ， 会 针对 大 字符 串 并 行 计算 使 用 自己 的 简单 变量 来 提高 啊 应 速 
BE. 

在 代码 注释 中 对 条 件 假设 和 常量 做 解释 说 明 。 

在 有 很 多 不 同 的 数据 输入 时 可 以 走 查 代码 ， 修 复 所 发 现 的 错误 。 不 
收 得 如 何 发 现 和 修复 缺陷 的 SET 候选 人 不 是 合格 的 候选 人 。 

在 被 要 求 去 做 功能 测试 之 前 就 去 做 相应 的 测试 。 测 试 不 应 是 被 要 求 
了 才 去 做 的 事情 。 

在 被 要 求 停止 之 前 ， 不 停 地 尝试 优化 解决 方案 。 在 经 过 区 区 几 分 钟 








的 编码 和 简单 测试 之 后 ， 没 人 敢 说 他 的 代码 就 是 完美 的 。 程 序 的 稳定 性 
和 韧性 比 功 能 正确 要 重要 的 多 。 

现在 ， 我 们 想 看 候选 人 是 否 可 以 测试 他 们 自己 写 的 代码 。 令 人 费解 
或 复杂 棘手 的 测试 代码 是 世界 上 最 差 的 代码 ， 但 这 也 比 没有 测试 代码 
强 。 在 Google， 如 果 测 试 运行 失败 ， 需 要 清楚 地 知道 测试 代码 在 做 什 
么 。 否 则 ， 这 个 测试 就 应 该 被 禁止 掉 ， 或 是 被 标记 为 怪异 的 测试 ， 或 是 
忽略 这 个 测试 的 运行 失败 。 如 果 这 样 的 事情 发 生 了 ， 这 是 编写 出 坏 代 码 
的 SWE 的 责任 ， 或 是 代码 审查 时 给 予 通过 投票 的 SETSWE 的 失误 。 

SET ”应 该 可 以 用 黑 盒 测 试 方法 做 测试 ， 假 设 其 他 人 已 经 实现 了 功 
能 ; 也 可 以 用 白 盒 测试 的 方式 ， 考 虑 其 内 部 的 实现 可 以 知道 哪些 用 例 是 
无 关 的 。 

通常 情况 下 ， 普 通 的 候选 人 会 这 样 做 。 

他 们 会 比较 有 条 理 地 或 体系 化 地 提供 特定 的 字符 串 (如 不 同 的 字符 
串 大 小 ) 而 不 是 随机 的 字符 串 。 

专注 于 产生 有 意义 的 测试 数据 。 考 虑 如 何 去 运 行 大 型 测试 和 使 用 真 
实 环境 的 数据 做 测试 。 

更 优秀 的 候选 人 会 这 样 做 的 更 多 一 些 。 

在 并 发 线程 中 调用 这 个 函数 ， 去 查看 在 串扰 (cross talk) 、 死 锁 和 
内 存 泄露 方面 是 否 存在 问题 。 

构建 长 时 间 持 续 运 行 的 测试 场景 。 例 如 在 一 个 while(true) 循 环 中 调 
用 函数 ， 并 确保 他 们 在 不 间断 地 长 时 间 运 行 过 程 中 保持 功能 正常 。 

在 构建 测试 用 例 、 测 试 数据 的 产生 方法 、 验 证 和 执行 上 保持 浓厚 的 
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优秀 候选 人 的 例子 


by Jason Arbon 


最 近 有 一 个 候选 人 《后 来 被 证 明 他 在 实际 工作 上 的 表现 也 确实 令 人 
吃惊 ) 在 被 问 到 如 何 针对 这 个 返回 值 为 64 位 整形 的 API 做 边界 测试 时 ， 
他 很 快 地 意识 到 由 于 时 间 和 空间 的 限制 ， 不 可 能 使 用 物理 的 方法 做 测 
试 。 但 为 了 做 完 这 个 题目 和 出 于 好 奇 心 ， 在 思考 这 个 级 别 的 扩展 性 时 尝 
试 使 用 非常 大 量 的 数据 来 做 这 个 测试 ， 并 提出 使 用 Google 的 网 页 索引 作 
为 输入 数据 来 源 。 

他 是 如 何 验证 这 个 结果 的 呢 ? 他 建议 使 用 一 个 并 行 来 实现 ， 从 而 保 
证 产生 两 份 相同 的 结果 。 他 也 考虑 到 使 用 统计 学 上 抽样 的 方法 : 大 写字 
母 A 在 网 页 上 出 现 的 期 望 频 率 。 由 于 我 们 知道 网 页 索引 后 的 数量 ， 计 算 
后 的 数字 应 该 比较 接近 。 这 正 是 Google 思 考 测试 的 方式 。 即 便 我 们 不 会 
真 的 构建 这 样 庞 大 的 测试 ， 思 考 这 些 解 决 方案 一 般 也 会 对 正常 规模 的 测 
试 工作 提供 有 意义 或 有 效 的 借鉴 。 

在 面试 中 需要 男 外 考虑 的 是 文化 上 是 否 匹 配 。SET 候选 人 在 面试 过 
程 中 是 否 在 技术 上 有 好 奇 心 ? 当面 对 一 些 新 想法 的 时 候 ， 候 选 人 是 否 能 
够 把 它 融 入 到 解决 方案 里 呢 ? 又 是 如 何 处 理 有 歧义 的 地 方 的 ?是 否 熟 悉 
质量 方面 的 理论 学 术 方 法 ?是 否 理 解 质 量度 量 或 其 他 领域 的 自动 化 ? 例 
如 土木 工程 或 航空 工程 方面 的 自动 化 。 当 你 发 现在 实现 中 存在 缺陷 时 ， 
是 否 心 存 戒 备 ， 思 路 又 是 否 足够 开阔 ? 候选 人 不 必 具 备 所 有 的 这 些 特 
质 ， 但 仍 是 越 多 越 好 。 最 后 还 要 考虑 在 日 常 的 工作 中 ， 我 们 是 否 愿意 和 
这 人 大 (sel a= 

需要 着 重 强调 的 一 点 是 ， 如 果 某 人 在 应 聘 SET 岗 位 的 时 候 没有 县 备 
足够 强 的 编码 能 力 ， 这 并 不 意味 着 此 人 不 是 一 个 合格 的 TITE。 我 们 已 雇 
佣 到 的 一 些 优 秀 的 TE， 之 前 都 是 来 应 聘 SET 岗 位 的 。 

一 个 有 趣 的 现象 值得 我 们 注意 ，Google 在 SET 招 聘 过 程 中 经 常会 与 
优秀 的 候选 人 失之交臂 ， 原 因 是 这 些 人 最 后 成 为 非 测 试 类 的 SWE 或 对 测 
试 过 度 专 注 的 TE。 我 们 希望 SET 的 候选 人 具有 多 样 性 ， 他 们 可 能 会 在 以 
后 工作 上 成 为 同事 。SET 是 一 个 真正 的 混合 体 ， 但 有 些 时 候 这 也 会 导致 





























一 些 令 人 不 悦 的 面试 得 分 。 我 们 想 确 保 的 一 点 是 ， 这 些 低 分 是 由 于 我 们 
的 面试 官 在 使 用 严格 的 SET 考核 标准 而 导致 。 

正如 Patrick Copeland 在 序言 中 说 的 那样 ， 关 于 SET 的 招聘 目前 还 有 
一 些 不 同 的 观点 。 如 果 SET 是 一 个 优秀 的 编程 者 ， 他 就 应 该 只 去 做 功能 
开发 的 工作 吗 ? SWE 也 是 很 难 雇佣 到 的 。 如 果 他 们 擅长 做 测试 ， 就 应 议 
只 是 专注 于 解决 纯粹 的 测试 问题 么 ?事实 总 是 存在 于 两 者 之 间 。 

招聘 优秀 的 SET 是 一 件 很 膝 烦 的 事情 ， 但 这 是 值得 的 。 一 个 明星 级 
的 SET 能 够 对 一 个 团队 产生 巨大 的 影响 。 











Ted Mao 是 一 位 Google 的 开发 工程 师 ， 但 Ted 的 主要 工作 专注 于 测试 
工具 的 开发 方面 。 特 别 要 提 到 的 是 ，Ted 制 作 的 Web 应 用 程序 方面 的 测 
试 工具 ， 所 有 的 Google 内 部 应 用 上 都 在 使 用 。Ted 本 喘 在 SET 这 个 圈子 
里 也 很 有 名 气 ， 一 般 情况 下 SET 都 对 优秀 工具 有 需求 ， 否 则 效率 就 会 非 
党 低下 。Ted 可 能 是 Google 内 部 对 通用 web 测试 基础 框架 最 熟悉 的 人 
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HGTS: 你 是 什么 时 候 加 入 Google 的 ? 是 什么 吸引 你 来 这 里 工作 
的 ? 

Ted: 我 是 2004 年 6 月 加 入 Google 的 。 在 那 之 前 ， 我 只 在 一 些 大 公司 
里 待 过 ， 像 BM 和 Microsoft， 那 个 时 候 Google 是 最 热门 的 创业 型 公司 ， 
吸引 了 大 量 非 常 有 天 赋 的 工程 师 加 入 。Google 尝试 去 解决 许多 有 趣 且 有 
挑战 性 的 问题 ， 我 想 参 与 进来 ， 与 这 个 世界 上 最 优秀 的 工程 师 们 一 起 去 
解决 这 些 问题 。 

HGTS: 你 是 Google 缺 陷 管 理 库 Buganizer 〈 注 : Buganizer 是 Google 
内 部 使 用 的 缺陷 管理 系统 ， 开 源 版 本 的 Buganizer 被 称 为 问题 跟踪 工具 ， 
在 Chromium 项 目 中 有 使 用 ， 参 见 
http://code.google.com/chromium/issues/list) 的 创建 者 。 与 之 前 的 BugDB 
相 比 ，Buganizer 演 试 去 解决 了 哪些 核心 问题 呢 ? 

Ted: BugDB 当时 是 在 阻碍 我 们 的 开发 流程 的 运转 ， 而 不 是 为 之 提 
供 支持 帮助 。 老 实说 ， 它 浪费 了 许多 宝贵 的 工程 开发 时 间 ， 这 使 得 使 用 
这 个 工具 的 团队 负担 更 加 沉重 。 它 的 问题 表现 在 许多 方面 ， 像 UI 延迟 、 
笨拙 的 工作 流 模 式 、 在 非 结 构 化 的 文本 字段 中 使 用 特殊 字符 串 等 。 在 设 























计 Buganizer 的 时 候 ， 我 们 确保 我 们 的 数据 模型 和 UI 可 以 反应 出 用 户 的 真 
实 开 发 过 程 。 在 核心 产品 团队 与 集成 过 程 中 ， 这 个 系统 通过 使 用 扩展 的 
模式 ， 经 受 住 了 考验 。 

HGTS: 你 在 Buganizer 上 做 的 非常 出 色 。 这 真是 我 们 用 过 最 好 的 缺 
陷 管 理 数 据 库 了 。 你 又 怎么 开始 去 搞 Web 上 自动 化 方面 的 测试 呢 ? 是 你 看 
到 这 方面 有 强烈 的 需求 吗 ? 还 是 有 人 请 求 你 去 帮助 解决 这 方面 的 问题 
呢 ? 

Ted: 在 为 Buganizer、AdWords 和 其 他 Google 产 品 工作 期 间 ， 我 经 
第 发 现 已 有 的 Web 目 动 化 测试 工具 不 能 满足 我 的 实际 需求 ， 他 们 并 不 像 
我 期 望 的 那样 快速 、 扩 展 性 强 、 健 壮 且 有 用 。 当 工具 团队 宣布 去 寻找 这 
个 领域 的 技术 人 才 时 ， 我 抓 住 了 这 个 机 会 。 这 方面 的 尝试 就 是 我 们 知道 
的 Matrix 项 目 ， 而 我 是 这 个 项 目的 技术 负责 人 。 

HGTS: 如 今 有 多 少 个 测试 团队 在 使 用 Matrix 做 测试 执行 ? 

Ted: 这 个 取决 于 你 如 何 度量 测试 的 执行 。 例 如 ， 我 们 在 使 用 的 一 
个 指标 ， 我 们 称 为 “浏览 器 会 话 ?"。 针 对 所 有 浏览 莫 ， 每 一 次 新 的 浏览 器 
会 话 都 会 保证 从 同样 的 状态 开始 运行 。 这 样 的 话 ， 在 这 个 浏览 器 上 运行 
的 测试 只 由 测试 本 号 、 浏 览 右 和 操作 系统 来 决定 ， 其 行为 也 就 是 可 以 确 
定 的 。Matrix 在 Google 的 每 个 Web 前 端 团队 都 有 实践 应 用 ， 每 天 提供 大 
于 一 百 万 个 新 浏览 器 会 话 。 

HGTS: Buganizer 和 Matrix 这 两 个 项 目 ， 曾 有 多 少 人 为 之 工作 ? 

Ted: 在 项 目 开 发 高 峰 时 期 ，Buganizer 有 5 个 工程 师 ，Matrix 有 4 个 
工程 师 。 当 时 我 们 的 团队 本 可 以 拥有 更 多 的 人 ， 让 团队 存活 地 更 长 久 一 
些 。 虽 然 这 令 我 有 些 伤感 ， 但 我 觉得 在 当时 的 情况 下 我 们 已 经 做 的 足够 


























BRI. 
HGTS: 在 你 打造 这 些 工 具 的 时 候 ， 你 面临 过 的 最 难 的 技术 挑战 是 
ft^? 


Ted: 对 于 我 而 言 ， 我 认为 最 艰难 和 最 有 趣 的 挑战 总 是 出 现在 设计 


阶段 。 理 解 一 个 问题 领域 ， 权 衡 不 同 的 解决 方案 和 它们 的 利 次 ， 并 从 中 
选 一 个 最 优 的 方案 。 实 现 阶 段 一 般 按 照 选 定 的 方案 去 做 即 可 。 这 样 的 选 
择 决 定 和 功能 实现 一 样 会 贯穿 项 目的 整个 生命 周期 ， 决 定 项 目的 成 败 。 

HGTS: 对 于 世界 上 其 他 专注 于 测试 工具 方面 的 工程 师 ， 你 有 什么 
一 般 性 的 建议 吗 ? 

Ted: 专注 于 你 的 用 户 ， 理 解 他 们 的 需求 并 解决 他 们 的 问题 。 不 要 
忽视 一 些 看 不 见 的 功能 ， 如 可 用 性 和 响应 速度 。 工 程 师 在 解决 他 们 问题 
方面 有 自己 独特 的 能 力 ， 要 允许 他 们 使 用 你 无 法 预料 的 方式 来 使 用 你 的 
JE 

HGTS: 在 测试 工具 框架 领域 ， 下 一 个 最 大 的 问题 ， 或 者 是 你 最 感 
兴趣 的 且 最 想 去 解决 的 问题 是 什么 ? 

Ted: 有 一 个 问题 我 最 近 一 直 在 思索 ， 我 们 的 工具 变 的 越 来 越 强大 
和 复杂 ， 但 相应 地 ， 在 理解 和 使 用 这 些 工具 上 也 变 得 越 来 越 困 难 。 例 
如 ， 使 用 Google “当前 的 web ”测试 框架 ， 工 程 师 可 以 一 键 运行 上 千 个 
Web 测 试 ， 并 发 地 运行 ， 针 对 不 同 的 浏览 器 。 我 们 抽象 封装 了 如 何 运行 
的 细节 ， 例 如 这 些 测 试 是 在 哪里 开始 真正 运行 的 ， 浏 览 器 是 从 哪里 得 到 
的 ， 测 试 环境 是 如 何 配置 的 等 细节 。 从 某 方面 上 讲 ， 这 是 好 事 儿 。 但 
是 ， 如 果 测 试 运行 失败 之 后 ， 工 程 师 又 必须 去 做 调试 ， 这 些 隐 藏 的 细节 
就 必须 要 去 了 解 。 我 们 已 经 在 这 个 领域 有 所 举措 ， 但 仍然 有 很 多 可 以 去 
做 且 必 须 去 完成 的 事情 ， 它 们 在 等 待 着 我 们 去 解决 。 





























Simon Stewart 是 WebDriver 的 创建 者 ， 也 是 Google 在 浏览 器 自动 化 
领域 的 专家 (译注 : Simon 于 2013 年 离开 Google 加 盟 Facebook) 。 
WebDriver 是 开源 Web 应 用 自动 化 测试 工具 ， 不 仪 在 Google 内 部 ， 在 业 
内 也 广 受 欢迎 ， 也 是 GTAC (Google 测 试 自动 化 大 会 ) 历史 上 最 热门 的 
话题 之 一 。 我 们 的 采访 记者 和 Simon 一 起 做 了 这 个 访谈 ，Simon 在 这 里 
讨论 了 了 Web 应 用 自动 化 的 话题 和 关于 WebDriver 未 来 的 一 些 想法 。 

HGTS: 好 像 很 多 人 并 不 清楚 Selenium 和 WebDriver 之 间 的 区 别 ， 你 
能 解释 一 下 吗 ? 

Simon: Selenium 是 Jason Huggins 在 ThoughtWorks 时 创建 的 一 个 项 
目 。Jason 那 个 时 候 写 了 一 个 Web 应 用 ， 假 定 用 户 使 用 的 浏览 器 是 IE。 
这 样 做 可 以 理解 ， 因 为 那个 时 候 玉 有 百 分 之 九 十 多 的 市 场 占有 率 。 但 是 
他 持久 卖 不 断 的 得 到 用 户 反 馈 ， 指 出 这 个 应 用 在 Firefox 浏 览 器 上 有 bug， 

这 个 时 候 他 就 页 到 一 个 问题 ， 当 他 修复 Firefox 上 的 bug 的 时 候 会 导致 在 
IE 上 出 现 另 外 的 问题 。 对 他 来 说 ，Selenium 是 一 个 可 以 加 速 开 发 应 用 程 
序 的 工具 ， 可 以 确保 每 次 变更 在 两 个 浏览 器 上 都 可 以 正常 工作 。 

大 概 在 一 年 前 ， 或 者 不 到 一 年 的 样子 ， 我 真正 开始 去 创建 
WebDriver。 但 在 Selenium 真 正 稳定 之 前 ， 我 的 主要 精力 集中 在 更 加 通 
用 的 Web 应 用 测试 上 。 这 并 不 奇怪 ， 我 们 两 个 使 用 了 不 同 的 方法 来 实现 
Web Hatt. Selenium ”在 浏览 器 内 部 使 用 “JavaScript ”实现 ， 而 
WebDriver 使 用 浏览 絮 本 里 的 API 集 成 到 浏览 器 内 部 。 两 种 方法 各 有 优 
务 。 例 如 ，Selenium 可 以 在 瞬间 打开 一 个 新 的 Chrome 浏览 器 ， 但 却 不 
能 上 传 文件 或 者 很 好 地 处 理 用 户 交 互 ， 因 为 它 是 JavaScript 实 现 ， 必 须 限 




















定 在 JS 沙 箱 之 内 。 由 于 WebDriver 构 建 在 浏览 器 里 面 ， 它 可 以 突破 这 些 
限制 ， 但 打开 一 个 新 的 浏览 器 却 比较 痛 苗 。 在 我 们 都 开始 为 Google 工 作 
的 时 候 ， 我 们 决定 把 这 两 个 集成 到 一 起 。 

HGTS: 但 我 还 是 听 到 人 们 在 分 别 谈论 它们 。 它 们 还 依然 是 两 个 独 
立 的 项 目 吗 ? 

Simon: 对 于 所 有 浏览 器 日 动 化 工具 集 ， 我 称 为 Selenium。 
WebDriver 只 是 其 中 的 一 个 工具 ， 官 方 的 名 字 是 “Selenium WebDriver”。 

HGTS: 那么 Google 是 如 何 介 入 进来 的 呢 ? 

Simon: 几 年 前 ，Google 在 创建 了 London _ office 的 时 候 ， 雇 佣 了 一 
些 Thoughtworks 的 前 员工 ， 这 些 人 邀请 我 去 做 一 个 关于 WebDriver 的 技 
术 分 享 。 这 次 分 享 并 没有 给 我 融 来 什么 信心 ， 前 排 的 一 个 家 伙 听 痢 听 着 
居然 睡 着 了 ， 我 在 分 享 的 过 程 中 必须 与 他 的 丑 声 做 斗争 。 碰 巧 的 是 ， 这 
个 分 享 的 录制 设备 也 坏 了 。 但 还 是 有 很 多 人 对 此 感 兴趣 ， 于 是 我 们 再 次 
补 邀 请 在 GTAC 上 做 一 个 没有 财 声 的 分 享 。 之 后 我 很 快 惑 加 入 了 
Google。 现 在 我 也 知道 那个 事情 的 真相 了 。 

HGTS: 确实 ， 每 个 人 有 自己 的 秘密 。 说 正经 的 ， 我 们 之 前 也 看 过 
你 的 分 享 ， 很 难 想象 有 人 会 睡 厦 。 他 是 我 们 认识 的 人 吗 ? 

Simon: 不 ， 他 已 经 离开 Google 很 入 了 。 我 们 还 是 假设 他 前 一 天 晚 
上 熬夜 了 比较 好 。 

HGTS: 我 们 必须 从 中 吸取 教训 。 大 家 需要 明白 ， 在 Simon Stewart 
的 分 享 过 程 中 睡觉 ， 对 你 的 职业 生涯 是 非常 不 利 的 。 自 从 你 加 入 了 
Google，WebDriver 是 你 的 全 职工 作 吗 ? 

Simon: 不 ， 这 只 是 我 ” 20% 的 工作 。 我 的 主要 工作 是 一 个 产品 的 
SET， 虽 然 我 现在 还 在 负责 推进 WebDriver 的 前 进 ， 但 已 经 有 外 部 的 贡 
献 者 了 ， 他 们 做 的 非常 棒 。 在 一 个 开源 项 目的 早期 阶段 ， 人 们 拿 过 来 使 
用 ， 因 为 他 们 需要 这 样 的 项 目 ， 而 且 也 没有 其 他 可 以 蔡 代 的 。 内 在 的 激 
励 就 是 要 去 贡献 。 现 在 许多 WebDriver 的 用 户 都 在 口 口 相传 如 何 去 使 用 


























操作 ， 这 些 用 户 更 像 是 消费 者 ， 而 不 是 贡献 者 。 但 在 早期 ，WebDriver 
社区 的 草根 却 在 真正 地 推进 这 个 工具 同 前 发 展 。 

HGTS: 我 们 知道 故事 的 来 龙 去 脉 了 。WebDriver 在 Google 内 部 非 
常 受 欢迎 ， 这 是 怎么 开始 的 ? 是 有 试点 的 项 目 吗 ? 有 没有 一 些 错误 的 教 
训 呢 ? 

Simon: 这 是 一 个 社交 网 络 产品 ， 在 Wave 团队 最 先 开 始 使 用 。 该 团 
队 位 于 Sydney 的 办 公 室 ， 但 这 个 团队 现在 却 已 经 不 存在 了 。Wave 的 工 
程 师 尝 试 去 使 用 Selenium 作为 他 们 的 测试 框架 ， 但 是 却 无 法 解决 一 些 
问题 。Wave 实 在 是 太 复 如 了 。 工 程 师 们 很 勤奋 ， 找 到 了 WebDriver 并 开 
台 问 许多 优秀 的 问题 ， 然 后 这 变 成 了 我 20% 的 时 间 要 处 理 的 事情 。 他 们 
找到 我 的 老板 ， 希 望 我 能 在 去 Sydney 待 上 一 个 月 ， 帮 助 他 们 建立 自己 的 
测试 框架 。 

HGTS: 我 想 你 当时 成 功 了 。 

Simon: 是 的 ， 那 个 团队 很 棒 ， 我 们 把 框架 做 出 来 了 了。 提出 了 大 量 
针对 WebDriver 的 新 需求 ， 这 对 于 其 他 的 团队 也 是 一 个 榜样 ， 
WebDriver 在 Web 应 用 方面 处 于 领先 地 位 。 从 那 一 刻 开始 ，WebDriver 就 
再 也 没有 缺少 过 用 户 ， 对 于 我 来 说 ， 全 身心 的 投入 进去 也 更 有 意义 。 

HGTS: 第 一 个 用 户 总 是 最 难 的 。 你 是 怎么 改进 WebDriver， 并 让 
它 可 以 在 Wave 团 队 工 作 的 ? 

Simon: 我 使 用 了 一 个 被 称 为 DDD (译注 : defect-driven 
development)〉 的 流程 ， 缺 陷 驱 动 开发 。 我 总 是 宣称 WebDriver 是 完美 无 
瑕 的 ， 一 旦 用 户 发 现 了 一 个 bug， 我 就 立刻 去 修复 它 ， 然 后 再 宣布 它 没 
有 问题 了 ， 更 加 完美 无 瑕 。 这 样 的 话 ， 可 以 确定 我 修复 的 bug 是 一 些 人 
们 真正 关心 的 bug。 这 对 于 改善 一 个 已 有 产品 是 非常 有 用 的 ， 这 可 以 确 
保 你 是 在 修复 最 重要 的 bug， 而 不 是 修复 人 们 并 不 关心 的 bug。 

HGTS: 你 还 是 webDriver 里 唯一 的 工程 师 吗 ? 

Simon: 不 ， 我 们 有 一 个 团队 ，WebDriver 是 Google 内 部 的 一 个 正 
































式 项 目 ， 并 在 开源 方面 非常 活跃 。 随 着 浏览 器 数量 、 版 本 和 平台 的 不 断 
增加 ， 我 们 告诉 大 家 我 们 必须 很 疡 狂 ， 我 们 每 天 都 在 把 不 可 能 的 事情 变 
成 可 能 。 有 时 候 我 觉得 比较 理智 的 人 其 实 并 不 适合 做 我 们 这 个 项 目 。 

HGTS: 在 Wave 项 目 之 后 你 得 到 了 很 多 动力 。 对 于 用 户 来 说 ， 是 否 
意味 着 WebDriver 蔡 代 了 旧 的 Selenium 的 地 位 ? 

Simon: 我 想 是 的 。 许 多 原来 Selenium 工 程 师 都 去 做 其 他 事情 了 。 
由 于 在 Wave 上 的 成 功 ， 我 对 WebDriver 也 充满 了 信心 和 能 量 。 一 些 我 
从 来 没有 见 过 的 人 ， 如 来 自 德 国 的 Michael Tam, (4283-487 WebDriver 
上 做 一 些 重要 的 工作 了 ， 我 也 很 小 心地 鼓励 这 样 的 关系 模式 。Michael 
是 第 一 个 我 没有 真正 见 过 就 有 提交 代码 权限 的 人 。 

其 实 我 并 没有 特别 地 跟 进 WebDriver 的 扩张 。 比 较 明 确 的 是 ， 在 物 
理 位 置 上 离 我 近 的 团队 ， 更 愿意 去 使 用 WebDriver。 我 想 Picasa 网 络 相 
册 团 队 事 实 上 是 第 一 个 真正 使 用 WebDriver 的 团队 ， 而 且 是 在 Wave 团 队 
之 前 ， 然 后 Ads 也 开始 使 用 了 。 在 Google， 不 同 团队 在 使 用 各 自 的 Web 
目 动 化 框架 。Chrome 在 使 用 PyAuto，Search 在 使 用 Puppet (有 一 个 开源 
的 版 本 叫做 Web Puppeteer) ，Ads 使 用 WebDriver， 等 等 。 

HGTS: WebDriver 的 未 来 会 怎样 ? 你 们 团队 有 什么 目标 吗 ? 

Simon: 好 吧 ， 目 前 看 起 来 还 有 点 乱 。 即 便 是 在 几 年 前 ， 在 市 场 上 
还 有 一 个 主流 的 浏览 器 ， 但 现在 没有 了 。IE、Firefox、Chrome、 
Safari、Opera 等 都 拥有 了 自己 的 市 场 。 但 这 还 只 是 介面 版 的 而 已 。 在 移 
动 问 的 浏览 器 引擎 也 正在 疡 狂 地 扩张 。 在 2008 年 以 后 ， 许 多 商用 的 浏览 
器 自动 化 工具 把 他 们 都 给 忽略 了 ， 下 除外， 这 其 实 是 非常 不 明智 的 做 
法 。 下 一 步 ，WebDriver 会 在 标准 化 上 发 力 ， 这 样 可 以 保证 相同 的 网 络 
应 用 代码 在 不 同 的 浏览 器 上 都 可 以 工作 。 当 然 ， 这 也 需要 浏览 器 厂商 一 
起 参与 进来 ， 文 持 我 们 的 WebDriver API. 

HGTS: 这 听 起 来 好 像 是 标准 委员 会 要 做 的 事情 。 目 前 有 什么 进展 
Hu ? 
































Simon: 是 的 ， 有 一 些 。 很 不 和 位 地 是 ， 我 必须 去 写 一 些 英 文 文档 ， 
而 不 是 编写 代码 了 ， 在 W3C 里 有 一 个 文档 ， 所 有 的 浏览 右 开 发 商都 会 参 








与 进去 。 
HGTS: 你 希望 的 未 来 是 怎样 的 ? 未 来 的 浏览 右 目 动 化 工具 又 是 如 
何 工 作 的 呢 ? 


Simon: 我 希望 他 们 都 消失 到 后 台 之 中 。 目 动 化 的 API 会 对 所 有 浏 
览 堪 适 用 ， 人 们 不 用 去 担心 这 些 基 础 框架 ， 他 们 仅仅 去 使 用 即 可 。 和 希望 
人 们 能 把 更 多 的 精力 放 在 他 们 Web 应 用 本 号 ， 而 不 是 如 何 去 目 动 化 上 。 
在 人 们 真正 态 了 WebDriver 的 存在 之 后 ， 我 们 就 成 功 了 。 








AR a Pu yi | y 工程 师 


软件 测试 开发 工程 师 (SET) 负责 可 测试 性 和 测试 自动 化 体系 的 长 
期 有 效 性 。 测 试 工程 师 (Test Engineer， 后 文 简 写 TE) 的 职责 与 之 有 所 
不 同 ，TE 的 重点 在 于 评估 对 用 户 的 影响 以 及 软件 产品 整体 目标 上 的 风 
险 。 与 Google 的 其 他 大 多 数 技术 岗位 一 样 ，TE 的 工作 涉及 一 些 编程 ， 但 
编程 只 是 一 小 部 分 ， 实 际 上 ， 在 所 有 工程 师 中 他 们 的 职 贡 范围 堪 称 最 
广 。TE 对 产品 的 贡献 很 大 ， 但 他 们 承担 的 很 多 任务 不 需要 编程 〈 注 : 

这 只 是 通常 的 说 法 。 许 多 TE 所 从 事 的 工作 与 SET 非 常 类 似 ， 需 要 编写 大 
量 的 代码 ， 而 另外 一 些 TE 的 职责 更 类 似 发 布 工程 师 ， 只 需要 编写 很 少 
量 的 代码 ) 。 

















在 前 一 章 里 ， 我 们 说 TE 是 一 种 “用 户 开 发 者 〈user-developer) ”， 这 
不 是 一 个 容易 理解 的 概念 。 一 个 产品 团队 的 所 有 工程 师 都 是 某 种 类 型 的 
开发 者 ， 这 个 思想 是 团队 成 员 地 位 平等 的 一 个 重要 体现 。 在 Google 这 样 
的 公司 里 ， 对 于 编码 的 敬意 是 公司 文化 中 相当 重要 的 一 点 。 为 了 成 为 一 
等 公民 ，TE 必 须 站 先是 工程 师 的 一 部 分 。Google 的 TE 综合 了 开发 者 伯 
茶 的 技术 能 力 和 以 用 户 为 中 心 检查 软件 质量 而 对 开发 者 产生 一 定制 约 的 
能 力 。 哇 ， 我 们 简直 是 在 谈论 一 种 分 裂 人 格 啊 ! 

注意 

为 了 成 为 一 等 公民 ，TE 必 须 首 先是 工程 师 的 一 部 分 。Google 的 TE 
综合 了 开发 者 仰 骏 的 技术 能 力 和 以 用 户 为 中 心 检查 软件 质量 而 对 开发 者 
产生 一 定制 约 的 能 

TE 的 职位 描述 是 最 难 定义 的 ， 因 为 其 职责 范围 很 广 而 且 不 确定 。 
人 们 期 望 TE 在 各 种 各 样 的 构建 物 的 守成、 集成、 最 终 形 成 完整 的 产品 
过 程 中 监督 所 有 产物 的 质量 。 因 此 ， 大 多 数 的 TE 都 会 从 事 一 些 基础 技 
术 层 的 、 需 要 另外 一 种 视角 和 较 强 的 专业 技术 能 力 的 工作 。 这 一 切 都 与 
风险 有 关 : TE 以 对 某 种 特定 的 产品 最 合适 的 方式 发 现 软件 中 风险 最 大 
的 地 方 并 党 斌 减少 或 消除 它 。 如 果 需 要 做 SET 的 工作 ，TE 就 去 做 ;如 
果 需 要 代码 审查 ， 那 就 只 管 去 做 。 如 果 缺 少 测试 工具 ， 那 就 花 一 些 时 间 
fr LH. 

接 下 来 ， 同 一 个 人 还 会 在 项 目的 其 他 时 段 去 领导 探索 式 测 试 ， 或 者 
管理 内 部 试用 版 〈 或 beta W) 的 测试 工作 。 在 不 同 的 项 目 阶段 ，SET 和 
TE ”的 重点 不 同 ， 早 期 的 工作 涉及 更 多 的 面 同 SET 的 任务 ， 而 项 目 后 期 























才 是 面向 TE 的 任务 。 还 有 一 些 情况 是 TE 的 个 人 选择 ， 他 们 可 以 在 不 同 
的 角色 间 切 换 。 但 凡事 没有 绝对 ， 我 们 在 下 面 所 做 的 描述 ， 只 是 代表 了 
理想 的 情况 。 





3.2 训 弃 工程 师 的 工 


在 Google， 相 比 软件 开发 工程 师 或 软件 测试 开发 工程 师 而 言 ， 测 试 
工程 师 是 一 个 较 新 的 角色 ， 目 前 还 在 形成 中 。 现 在 这 一 代 的 Google TE 
们 所 做 的 ， 无 疑 是 在 披 斌 斩 琼 ， 为 将 来 的 新 人 铺 好 道路 。 我 们 在 这 里 所 
讲述 的 是 Google 最 新 的 TE 相关 的 流程 。 

并 非 所 有 的 产品 都 需要 TE 的 介入 。 试 验 性 工作 、 疝 无 明确 目标 或 
用 户 故 事 的 早期 产品 ，TIE 很 少 参与 ， 甚 至 不 参与 。 如 果 产 品 有 很 大 的 
可 能 被 取消 《就 是 说 作为 一 个 概念 验证 没有 最 终 通过 ) ， 或 者 还 没 能 吸 
引用 户 使 用 ， 或 者 功能 还 没有 定型 ， 那 么 测试 工作 一 般 都 应 该 由 产品 的 
开发 人 员 目 己 完 成 。 

即使 对 于 一 个 已 经 确定 要 发 布 的 产品 ， 在 其 研发 的 早期 阶段 ， 功 能 
还 在 不 断 变 化 ， 节 终 功 能 列表 和 范畴 也 还 没有 确定 ，TE 通 常 没有 太 多 
的 工作 可 做 。 早 期 过 度 地 投入 测试 意味 看 资源 的 浪费 ， 尤 其 是 在 SET 已 
经 深度 介入 的 时 候 。 过 早 完成 的 测试 产物 可 能 会 被 丢弃 ， 也 可 能 出 现 最 
ESITAD: 虽然 继续 维护 ， 但 是 训 无 附加 价值 。 早 期 的 汕 试 计划 需要 
较 少 TE， 而 在 产品 接近 尾声 、 寻 找 bug 变 得 更 加 紧急 的 时 候 ， 需 要 较 多 
的 资源 投入 到 测试 上 进行 探索 式 测 试 。 

注意 

在 研 及 的 早期 阶段 ， 功 能 还 在 不 断 变 化 ， 最 终 功能 列表 和 范畴 还 没 
有 确定 ，TE 通 常 没有 太 多 的 工作 可 做 。 

以 策略 上 讲 ， 给 一 个 项 目 配备 多 少 测 试 人 员 ， 取 决 于 项 目 风险 和 投 
资 回 报 率 。 对 客户 和 公司 的 风险 大 ， 意 味 着 在 测试 上 投入 的 资源 也 要 
多 ， 但 投入 的 资源 应 该 与 其 潜在 的 回报 成 正比 。 我 们 需要 在 正确 的 时 


























间 ， 投 入 正确 数量 的 TE， 并 带 来 足够 的 价值 。 

当 TE 进 入 产品 的 时 候 ， 并 不 需要 从 零 开始 。SWE 和 SET 已 经 在 测试 
技术 和 质量 方面 做 了 大 量 的 工作 ， 可 以 作为 TE 的 起 点 。TE 在 进入 产品 
时 ， 需 要 考虑 以 下 一 些 问题 。 

当前 软件 的 薄弱 点 在 哪里 ? 

有 没有 安 人 全、 隐私、 性 能 、 可 靠 性 、 可 用 性 、 兼 容 性 、 全 球 化 和 其 
他 方面 的 问题 ? 

主要 用 户 场 景 是 否 功 能 正常 ? 对 于 全 世界 不 同 国家 的 用 户 都 是 这 样 
Hu ? 

这 个 产品 能 与 其 他 产品 (软件 和 硬件 ) 互 操作 吗 ? 

当 发 生 问 题 的 时 候 ， 是 否 容 易 诊断 问题 所 在 ? 

当然 这 只 是 一 个 不 完全 列表 。 所 有 这 些 加 起 来 ， 构 成 发 布 竺 评估 软 
件 的 风险 概要 。TE 并 不 需要 自己 去 解决 所 有 这 些 问 题 ， 但 必须 保证 这 
些 问 题 被 解决 掉 ， 他 们 可 以 请 其 他 人 帮忙 评估 还 有 多 少 工作 需要 去 做 。 
TE 的 根本 使 命 是 保护 用 户 和 业务 的 利益 ， 使 之 不 受到 糟糕 的 设计 、 令 
人 困惑 的 用 户 体验 、 功 能 bug、 安 全 和 隐私 等 问题 的 困扰 。 在 Google， 
TE 是 一 个 团队 中 全 职 地 负责 从 整体 角度 发 现 产品 或 服务 弱点 的 唯一 角 
色 。 因 此 ， 与 SET 相 比 ，TE 的 工作 并 不 是 那么 确定 。TE 会 介入 项 目的 
各 个 阶段 从 产品 的 构思 阶段 到 第 8 个 版 本 ， 甚 至 是 照看 一 个 已 经 下 线 
的 项 目 。 一 个 TE 同时 参与 几 个 项 目 也 很 常见 ， 尤 其 是 那些 具备 安全 、 
隐私 或 全 球 化 等 专门 技能 的 TE。 

显然 ， 在 不 同 的 项 目 中 ，TE 的 工作 内 容 也 会 有 较 大 的 不 同 。 一 些 
TE 会 在 编码 方面 投入 较 多 的 时 间 ， 但 主要 是 写 中 到 大 型 的 测试 〈 如 端 
到 端的 用 户 场景 ) 而 非 小 型 测试 。 其 他 一 些 TE 会 检查 代码 和 系统 设计 
以 确定 失效 模式 ， 并 寻找 导致 失效 的 错误 路 径 。 在 这 种 情况 下 ，TE 可 
能 会 去 修改 代码 ， 但 这 与 从 头 编写 代码 是 不 同 的 。TE 在 测试 计划 及 测 
试 完整 性 上 必须 更 加 系统 和 周密 ， 重 点 在 真实 用 户 的 使 用 方式 和 系统 级 


























别 的 体验 上 。TE 擅 长 发 现 需求 中 的 模糊 之 处 ， 分 析 沟 通 不 明确 的 问 
题 。 

成 功 的 TE 游 走 于 这 些微 妙 且 敏感 的 地 方 ， 有 时候 还 要 与 个 性 很 强 
的 开发 和 产品 人 员 打 交道 。 一 旦 找到 薄弱 点 ，TE 束 会 通过 测试 使 软件 
出 错 ， 然 后 与 开发 、 产 品 、SET 一 起 推动 解决 这 些 bug。TE 通 常 是 团队 
里 最 出 名 的 人 ， 因 为 他 们 需要 与 各 种 角色 沟通 。 

考虑 到 技术 能 力 、 领 导 力 、 深 刻 理解 产品 的 能 力 等 多 方面 的 要 求 ， 
TE 的 职位 摘 述 有 点 吓人 。 事 实 上 ， 如 果 没 有 合适 的 指导 ， 很 多 人 难以 
胜任 这 个 工作 。 幸 运 的 是 ， 在 Google， 一 个 由 TE 组 成 的 强大 社区 的 出 现 
解决 了 这 个 问题 。 在 所 有 的 工种 里 ，TE 可 能 是 在 互 帮 互 助 方面 做 得 最 
好 的 了 。 这 个 角色 需要 敏锐 的 洞察 力 和 领导 力 ， 因 此 很 多 Google 的 高 级 
测试 经 理 们 都 来 自 于 TE。 

证 局 

这 个 角色 需要 敏锐 的 洞察 力 和 领导 力 ， 因 此 很 多 Google 的 高 级 测试 
经 理 们 都 来 自 于 TE。 

TE 的 工作 经 常 需 要 去 打破 常规 流程 。TE 可 以 在 任何 时 间 进 入 项 
目 ， 必 须 迅速 评 佑 项目、 代码 、 设 计 和 用 户 的 当前 状态 ， 然 后 决定 首要 
的 关注 点 。 如 果 项 目 刚刚 开始 ， 测 斌 计划 是 第 一 优先 级 。 有 时 ，TE 在 
产品 后 期 被 拉 进 来 帮助 评估 项 目 是 否 可 以 发 布 ， 或 者 在 beta 版 本 发 布 之 
前 确认 还 有 哪些 主要 的 问题 。 当 TE 进入 了 一 个 新 被 收购 的 应 用 或 缺少 
相关 应 用 经 验 的 时 候 ， 他 们 经 常会 先 去 做 一 些 不 怎么 需要 计划 的 探索 式 
测试 。 有 时 ， 项 目 己 经 很 久 没 有 发 布 了 ， 只 是 需要 去 做 一 些 修饰 、 安 全 
补丁 或 界面 更 新 ， 这 需要 地 然 不 同 的 方法 。 

在 Google，TE 需 要 在 不 同 的 项 目 中 做 不 同 的 事情 。 我 们 经 常 将 TE 
的 工作 描述 为 “< 从 中 间 开 始 (starting in the middle) ”， 因为 TE 必须 保持 
足够 的 灵活 ， 能 够 迅速 融入 一 个 产品 团队 的 文化 和 现状 。 如 果 做 测试 计 
划 已 经 来 不 及 了 ， 那 就 干脆 不 做 了 。 如 果 一 个 项 目 最 需要 的 是 测试 ， 那 


























就 做 一 个 简单 够 用 的 指导 性 计划 。 一 些 测 试 教条 所 倡导 的 从 头 就 介入 的 
模式 ， 在 Google 并 不 适用 。 

下 面 是 我 们 关于 TE 职责 的 一 般 性 描述 。 

测试 计划 和 风险 分 析 。 

评审 需求 、 设 计 、 人 代码 和 测试 。 

探索 式 测试 。 

用 户 场景 。 

编写 测试 用 例 。 

执行 测试 用 例 。 

众 包 (译注: crowdsourcing， 是 互联 网 带 来 的 新 的 生产 组 织 形式 。 
一 个 公司 或 机 构 把 过 去 由 员工 执行 的 工作 任务 ， 以 自由 自愿 的 形式 外 包 
给 非特 定 的 (通常 是 大 型 的 ) 大 众 网 络 的 做 法 ) 。 

使 用 统计 。 

用 户 反 馈 。 

当然 ， 能 够 最 好 的 完成 这 些 任 务 的 ， 是 那些 有 很 强 的 人 格 魅 力 和 优 
秀 的 沟通 技巧 的 测试 工程 师 。 





3.2.1 Jl A TEX! 


和 测试 人 员 相 比 ， 开 发 人 员 有 一 个 优势 就 是 他 们 的 工作 产物 是 每 个 
人 都 真正 关心 的 。 开 发 人 员 编 写 人 代码， 构建 用 户 期 望 的 、 能 为 公司 赚钱 
的 应 用 。 很 明显 ， 代 码 是 项 目 过 程 中 产生 的 最 重要 的 文档 。 

然而 ， 测 试 人 员 要 处 理 的 是 真正 的 文档 和 其 他 临时 性 的 事物 。 在 项 
目的 早期 阶段 ， 测 试 人 员 编 写 测试 计划 ; 然后 ， 他 们 创建 和 执行 测试 用 
例 ， 编 写 bug 报 告 ， 接 下 来 是 准备 履 盖 度 报 告 ， 收 集 用 户 满 意 度 和 软件 
质量 数据 。 在 软件 成 功 发 布 “或 失败 ) 之 后 ， 很 少 有 人 会 问 及 训 试 产物 
是 什么 。 如 果 软 件 深 受 人 们 豆 爱 ， 大 家 束 会 认为 测试 所 作 所 为 是 理 所 应 
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正 想 去 了 解 测试 到 底 做 了 什么 。 

测试 人 员 不 应 该 对 测试 文档 过 于 珍爱 。 软 件 开发 过 程 充满 了 痛 藻 的 
挣扎 : 编码、 评审、 构建、 测试 、 一 轮 接 一 轮 的 开发 等 ， 在 这 个 过 程 里 
实在 很 难 有 时 间 坐 下 来 欣 质 一 下 测 斌 计划。 糟糕 的 测试 用 例 不 会 受到 足 
够 的 关注 和 改善 ， 它 们 只 会 被 抛弃 ， 而 最 后 留 下 来 的 是 更 好 的 测试 用 
例 。 大 家 的 关注 点 集中 在 不 断 增 长 的 代码 库 ， 这 才 是 最 重要 的 东西 ， 理 
应 如 此 。 

作为 一 种 测试 文档 ， 测 试 计划 的 生命 周期 是 所 有 测试 产物 中 最 短 的 
(显然 ， 当 客户 明确 要 求 编写 测试 计划 ， 或 者 出 于 某 些 政府 法 规 要 求 ， 
就 没 这 么 灵活 了 。 某 些 场合 必须 有 测试 计划 并 且 保 持 更 新 ) 。 在 项 目 早 
期 ， 人 们 需要 一 个 测试 计划 ( 见 附录 A: Chrome OS 测试 计划 〉 。 事 实 
上 上 ， 项 目 经 理 经 常 坚持 必须 有 一 个 测试 计划 ， 并 将 编写 测试 计划 作为 一 
个 比较 重要 的 里 程 碑 。 但 是 ， 一 旦 计划 就 绪 ， 这 些 人 就 把 它 扔 到 一 边 
了 ， 既 不 评审 也 不 更 新 。 测 试 计 划 就 像 是 闹 脾 气 的 小 孩儿 手中 可 爱 的 毛 
绒 玩 具 。 我 们 希望 它 总 是 存在 ， 到 哪里 都 能 市 着 它 ， 但 却 从 不 真正 关注 
它 。 只 有 它 被 拿 走 的 时 候 ， 我 们 才 会 发 出 尖 叫 。 

测试 计划 是 最 早出 现 、 最 先 被 遗 态 的 测试 产物 。 在 项 目 早 期 ， 测 试 
计划 代表 了 对 软件 功能 的 预期 。 但 是 ， 除 非得 到 持续 的 关注 ， 它 会 很 快 
随 着 新 代码 的 完成 、 功 能 特性 的 改变 以 及 设计 的 调整 而 过 期 。 伴 随 着 计 
划 内 或 计划 外 的 变更 ， 维 护 一 份 测 试 计划 是 要 花费 大 量 精 力 的 ， 除 非 多 
数 项 目的 成 员 会 定期 查看， 否则 测试 计划 并 没有 什么 价值 。 

注意 

测试 计划 是 最 早出 现 、 最 先 被 遗 扎 的 测试 产物 。 

后 面 这 一 点 是 测试 计划 真正 的 杀手 : 试问 在 产品 的 整个 生命 周期 
中 ， 测 试 计划 能 在 多 大 程度 上 作为 测试 活动 的 指导 ? 测试 人 员 会 不 断 参 
考 计划 来 安排 一 个 应 用 的 测试 吗 ? 会 要 求 开发 人 员 在 功能 增加 或 修改 时 














去 更 新 测试 计划 吗 ? 在 开发 经 理 管 理 to-do 列 表 的 时 候 ， 他 们 会 在 桌面 上 
打开 一 份 测试 计划 吗 ? 在 进展 沟通 会 议 上 ， 测 试 经 理会 经 常 参考 测试 计 
划 的 内 容 吗 ?如果 测试 计划 真 的 重要 ， 那 么 所 有 这 些 事情 应 该 每 天 都 会 
发 生 。 

理想 情况 下 ， 测 试 计 划 应 当 在 项 目 执行 中 发 挥 核心 作用 ， 应 当 在 软 
件 的 整个 生命 周期 中 持续 有 效 : 随 着 代码 库 的 更 新 而 更 新 ， 时 刻 代表 最 
新 的 产品 功能 ， 而 不 是 停留 在 项 目 开 始 阶段 时 的 样子 。 它 应 该 可 以 帮助 
一 个 新 加 入 的 工程 师 迅 速 跟 上 项 目 进展 。 

但 是 ， 这 些 不 过 都 是 理想 情况 而 已 。 在 Google 或 其 他 公司 中 ， 其 
实 很 少 有 测试 人 员 能 真正 做 到 。 

下 面 是 我 们 希望 测试 计划 具有 的 一 些 特性 。 

及 时 地 更 新 。 

描述 了 软件 的 目标 和 卖点 。 

描述 了 软件 的 结构 、 各 种 组 件 和 功能 特性 的 名 称 。 

描述 了 软件 的 功能 和 操作 简介 。 

从 纯粹 测试 的 角度 看 ， 我 们 担心 的 是 测试 计划 的 投入 和 价值 产 出 是 
BILE. 

不 必 花 过 多 的 时 间 去 撰写 ， 必 须 随 时 可 以 被 修改 。 

应 该 摘 述 必 测 点 。 

应 该 能 在 测试 中 提供 有 用 的 信息 ， 从 而 帮助 确定 进展 以 及 上 履 盖 率 上 
的 不 足 。 

在 Google， 测 试 计 划 的 历史 与 我 们 所 经 历 的 其 他 公司 基本 相同 。 测 
试 计划 曾 经 是 由 各 团队 根据 自 映 的 实际 情况 自行 定义 和 执行 的 。 一 些 团 
队 用 Google Docs (文本 文档 和 电子 表格 〉 编写 测试 计划 ， 与 整个 工程 
团队 分 享 ， 但 不 放 在 中 心 数据 库 里 ; 一些 团队 将 测试 计划 放 到 产品 主页 
的 链接 里 ; 一些 团队 则 放 到 项 目的 内 部 Google Sites 页 面 里 ， 或 者 作为 工 
程 设计 文档 或 内 部 wikis 的 链接 ; 少数 团队 甚至 使 用 Microsoft ”Word 文 














档 ， 通 过 电子 邮件 传播 一 一 很 老 派 的 方式 ; 一 些 团队 完全 没有 测试 计 
划 。 我 们 只 能 认为 测试 用 例 的 总 数 代 表 了 整个 测试 计划 。 

这 些 测试 计划 的 评审 链条 是 不 透明 的 ， 很 难 确定 作者 和 评审 者 。 相 
当 多 的 测试 计划 有 一 个 时 间 和 日 期 戳 ， 非 党 清楚 地 表明 了 它们 悠长 的 被 
遗忘 的 历史 ， 就 像 冰箱 角 沙里 资 饶 的 保质 期 一 样 。 它 一 定 在 某 个 时 间 对 
某 个 人 发 挥 了 重要 的 作用 ， 但 那个 时 间 已 经 一 去 不 返 了 。 

在 Google， 曾 经 流行 过 为 所 有 产品 建立 一 个 中 心 库 和 模板 的 建议 。 
这 个 有 趣 的 想法 曾经 在 别 的 公司 尝试 过 ， 但 显然 是 与 Google 内 在 的 分 
布 式 和 自我 管理 的 文化 相悖 的 。 在 Google,“ 州 权 ” 是 和 常态， 而 大 政府 理 
念 会 受到 别 弄 。 

ACC (Attribute Component Capability， 即 特质 、 组 件 、 能 力 。 这 是 
一 种 测试 计划 的 蔡 代 方法 ， 参 见 
http://googletesting.blogspot.com/2011/10/google-test-analytics-now-in- 
open.htmD 分 析 是 一 个 从 许多 Google 测 试 团 队 的 最 佳 实 践 中 总 结 出 来 
的 ， 并 被 本 书 作者 和 几 位 同事 在 各 种 产品 领域 里 倡导 的 流程 。ACC 已 经 
度 过 了 早期 试用 阶段 ， 也 正和 被 其 他 公司 所 采用 并 有 了 工具 文 持 ， 得 到 了 
开发 者 的 关注 。 读 者 可 以 用 “Google Test Analytics” 关 键 词 搜索 到 这 个 工 
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ACC 的 指导 原则 如 下 。 

避免 散漫 的 文字 ， 推 荐 使 用 简明 的 列表 。 并 不 是 所 有 的 测试 人 员 部 
想 当 小 说 家 ， 也 不 具备 将 一 个 产品 的 目标 或 测试 需求 表达 成 散文 的 技 
He. ME, TA DiI, AMEE ASE IT Y. 

不 必 推 销 。 测 试 计划 不 是 营销 文案 ， 既 不 是 要 讨论 一 个 产品 满足 了 
多 么 重要 的 市 场 定 位 ， 也 不 是 讨论 这 个 产品 有 多 么 酷 的 功能 。 测 试 计 划 
不 是 给 客户 或 分 析 师 看 的 ， 它 的 受众 人 和 群 是 工程 师 。 

简洁 。 测 试 计 划 并 没有 长 度 的 要 求 。 它 不 是 中 学 的 项 目 作 业 ， 长 度 
无 关 紧 要 ， 不 是 越 长 越 好 。 计 划 的 大 小 与 测试 问题 的 规模 有 关 ， 与 作者 





的 写作 欲望 无 关 。 

不 要 把 不 重要 的 、 无 法 执行 的 东西 放 进 测试 计划 。 相 关 人 员 坚 不 关 
心 的 东西 ， 就 一 个 词 也 不 要 出 现 。 

渐进 式 的 描述 CMake it flow) 。 测 试 计划 的 每 个 部 分 应 该 是 前 面部 
分 的 延伸 ， 以 便 读者 可 以 随时 停止 阅读 并 且 对 产品 的 功能 有 一 个 初步 的 
印象 。 如 果 读 者 希望 了 解 更 多 的 细节 ， 那 么 他 可 以 继续 读 下 去 。 

指导 计划 者 的 思路 。 一 个 好 的 计划 过 程 能 帮助 计划 者 思考 产品 功能 
及 其 测试 需求 ， 从 而 有 条 不 率 地 从 高 层 概念 过 渡 到 可 以 被 直接 实现 的 低 
层 细 市 。 

最 终结 果 应 该 是 测试 用 例 。 在 计划 完成 的 时 候 ， 它 不 仅 要 清楚 地 朱 
述 要 做 什么 样 的 测试 ， 并 且 还 可 以 清楚 地 指导 测试 用 例 的 编写 。 做 出 一 
个 不 直接 指导 测试 的 计划 纯粹 是 在 浪费 时 间 。 

注意 

做 出 一 个 不 直接 指导 测试 的 计划 纯粹 是 在 浪费 时 间 。 

最 后 一 点 非常 重要 : 如 果 测 试 计划 没有 把 测试 用 例 应 该 怎么 执行 描 
述 得 足够 详细 ， 它 就 没有 达到 预先 设 定 的 帮助 测试 的 本 义 。 对 测试 的 计 
XJ (the planning of tests) 而 言 ， 它 显然 应 该 让 我 们 清楚 地 知道 需要 编写 
哪些 测试 用 例 。 当 你 正好 处 于 “完全 了 解 需要 编写 哪些 测试 ”这 一 点 时 ， 
才 算 完成 了 测试 计划 。 

ACC 通 过 指导 计划 者 依次 考察 产品 的 三 个 维度 达成 这 个 目标 : 描述 
产品 目标 的 形容 词 和 副词 ;确定 产品 各 部 分 、 各 特性 的 名 词 ;， 描述 产品 
实际 做 什么 的 动词 。 这 样 ， 我 们 通过 测试 完成 的 就 是 验证 这 些 能 

(capabilities〉 能 正常 运作 、 产 品 各 组 件 CcomponenO 能 满足 应 用 的 目 
标 。 

1.A 代 表 特 质 (Attribute) 

在 开始 测试 计划 或 做 ACC 分 析 的 时 候 ， 必 须 先 确定 该 产品 对 用 户 、 
对 业务 的 意义 。 我 们 为 什么 要 开发 这 个 东西 呢 ? 它 能 融 来 什么 核心 价 























E? 它 又 靠 什 么 来 吸引 用 户 ? 记 住 ， 我 们 既 不 需要 为 这 些 问 题 做 辩护 ， 
也 不 需要 做 什么 解释 ， 只 要 写 下 来 就 行 了 。 我 们 可 以 假定 产品 经 理 和 做 
产品 计划 的 人 ， 或 者 开发 人 员 已 经 在 这 方面 做 了 该 做 的 事情 。 从 测试 的 
角度 看 ， 我 们 只 需要 确定 并 记 下 来 ， 以 备 后 续 测 试 使 用 即 可 。 

我 们 通过 一 个 称 为 特质 、 组 件 、 能 力 分 析 的 过 程 来 记录 这 些 核 心 价 
值 。 

特质 是 系统 的 形容 词 ， 代 表 了 产品 的 品质 和 特色 ， 是 区 别 于 竞争 对 
手 的 关键 。 在 某 种 程度 上 ， 是 人 们 选择 你 的 产品 而 不 是 竞争 对 手 的 产品 
的 原因 。 例 如 ，Chrome 的 定位 是 快速 、 安 人 全、 稳定 和 优雅 ， 这 正 是 我 
们 通过 ACC 记 录 的 特质 。 之 后 ， 我 们 希望 能 够 将 测试 用 例 关 联 到 这 些 标 
签 ， 这 样 ， 我 们 就 会 知道 在 验证 Chrome 的 快速 、 安 全 等 特质 方面 已 经 
完成 了 多 少 测试 。 

注意 

特质 是 系统 的 形容 词 ， 代 表 了 产品 的 品质 和 特色 ， 是 区 别 于 竞争 对 
手 的 关键 ， 也 是 人 们 选择 你 的 产品 而 不 是 竞争 对 手 的 产品 的 原因 。 

一 般 来 说 ， 产 品 经 理会 整理 一 个 系统 特质 的 列表 ， 测 试 人 员 通 过 疯 
读 产 品 需 求 文档 、 团 队 愿 景 和 使 命 声 明 ， 甚 至 是 听 销 售 跟 洲 在 的 客户 描 
绘 这 个 系统 来 确定 这 个 列表 。 说 真 的 ， 我 们 发 现在 Google 里 ， 推 销 员 和 
产品 传道 士 是 极 佳 的 特质 来 源 。 想 象 一 下 箱 体 广告 或 你 的 产品 将 要 如 何 
在 QVC【〔 译 注 : QVC 是 全 球 最 大 的 电视 与 网 络 的 百货 零售 商 ， 含 义 是 
Quality 质 量 、Value 价 值 、Convenience 便 利 ， 通 过 电视 与 网 络 购物 服务 
直达 美国 8 ”000 万 户 以 上 的 家 庭 ) 上 做 宣传 ， 你 就 会 找到 列 出 这 些 特质 
的 感觉 了 。 

下 面 是 一 些小 窍门 ， 可 以 帮助 你 在 自己 的 项 目 里 确定 产品 特质 列 
Ke 

简单 。 如 采 1 一 2 个 小 时 还 没有 完成 ， 那 么 你 在 这 一 步 花 的 时 间 太 多 
Tg 























精确 。 确 保 它 来 自 于 团队 已 经 普 裔 认同 的 文档 或 营销 信息 。 

变化 。 不 必 担 心 您 是 否 漏 掉 了 什么 一 一 如 果 后 来 及 现 这 个 特质 不 明 
显 ， 极 有 可 能 它 也 不 怎么 重要 。 

短小 。 数 量 方面 ， 一 打 〈 十 二 个 ) 是 一 个 不 错 的 目标 。 我 们 曾经 为 
一 个 操作 系统 总 结 了 12 条 关键 特质 如 图 3.1 所 示 。 现 在 回顾 起 来 ， 其 实 
可 以 缩短 到 8 项 或 9 项 。 

本 章 的 一 些 插图 是 示意 性 的 ， 有 些 细节 可 能 看 不 清楚 。 

使 用 特质 的 目的 ， 是 确定 哪些 特性 是 产品 存在 的 根本 原因 ， 并 使 这 
些 原因 为 测试 人 员 所 周知 。 这 样 ， 他 们 残 会 意识 到 自己 所 做 的 测试 是 如 
何 对 产品 存在 的 根本 原因 产生 影响 的 。 
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Chrome OS Risk Analysis 


File Edit View Insert Format Data Tools Collaborate Help 
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D E 
Estimated Frequency of Estimated Impact to 
Failure User 


Capability Risk 
A choice of (very rarely, A choice of (minimal, 
sel , occasionally some, con: 

From Sheet 1 Behavior of the component in responso to the feature often) (1.2,3,4) 

Web Centric i Fully supports picasa uploader 

Web Centric Fully supports silverlight 

Long Battery Life ARM and Intel CPU power management features 

Simple, Elegant Responds to hardware events (lid close, power button, etc.) 

Simple, Elegant Displays indicators for the various battery statuses 


Shutdown/Sleep the netbook gracefully on critically low 
Stable battery 


Long Battery Life power conservation modes for screens (DPMS) 
Simple, Elegant Disable screen saver when play video 

Cloud printing support 

Remote wipe of machine 

Cloud sync of network/password info 

Cloud sync of network/password info 

Cloud sync of system settings 


Web Centric Cloud sync of history 
Secure Cloud sync of history 
Combination of both machine/user settings which are both 
syncable/non-syncable. Come up with most common sets of 
Web Centric setting combos to test. 


Simple, Elegant Availability of sync service 
Ul 


Simple, Elegant 
All syncable control panel options synced to Gaia (will need 
Web Centric System Settings final list from dev). 


Simple, Elegant System Settings Network defaults & options, general configurations 


, considerable, Calculated 
maximum) {1,2,3,4} automatically 4 
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A 图 3.1 原来 的 Chrome 风 险 分 析 
拿 Google Sites 这 个 产品 来 举 个 例子 。 这 是 一 个 免费 的 应 用 ， 供 开放 





或 封 财 的 社区 建立 自己 的 共享 网 站 。Sites 类 似 许多 终端 应 用 ， 在 它 的 文 


档 里 描述 了 大 多 数 的 特质 ， 如 图 3.2 所 示 。 


实际 上 ， 大 多 数 应 用 程序 具有 类 似 的 开始 页 面 或 销售 材料 ， 这 经 闻 


可 以 帮 你 确定 特质 列表 。 如 果 没 有 ， 那 束 找 一 个 销售 聊 一 聊 ， 


或 者 及 用 


更 好 的 方式 《如 参加 一 个 销售 电话 或 演示 ) ， 就 可 以 得 到 所 需 信 息 了 。 


特质 就 在 那里 等 大 你 。 如 果 你 不 能 在 几 分 钟 内 列举 出 来 ， 
没有 足够 的 理解 你 的 产品 ， 还 不 能 有 效 地 测试 它 。 一 旦 熟悉 


罗列 特质 不 过 是 几 分 钟 的 事情 。 


Google Welcome to Google Sites 


Home Google Sites overview 


Overview Googie Sites is the easiest way to o make information accessible to people who need quick, eque — People n work together on a Site to add file attachments, kkmaton im rom other 
(like Google Docs, Google Calendar, uTube and Presea garry and new freeform content owe is editing a document, and you always control who has 
connect 


your team, or your whole organization. Mut ou can even publish Sites to the wortd. i acd from any intemet 


No HTML required 


Creating a Google Site is as easy as editing a document, which means there's no markup language for you to learn ~ just get started 


Single-click page creation 
Creating a new page for your Google Site just takes the click of a button. 


Make it your own 
Our customization options let you give your Google Site your own look and feel 


Get started with templates 
We offer a growing list of page types — web page, announcements, file cabinet, dashboard and list — to help you get started with your Google Sites pages. 


Upload files and attachments 


说 明 你 还 
了 你 的 产 


Googie appiicati 
S, whether it's just ge 


Use the fae cabinet to upload files up to 10MB in size. Each Googie Apps account receives at least 10GB of storage in Google Sites. Google Apps Premier and Education editions get an additional 500MB for each 
ser account 


Embed rich content 


Google Sites is integrated with other Google products, so you can insert videos, docs, spreadsheets, presentations, photo slide shows, and calendars directly onto your Google Sites pages. 


Work together and share 


Our permission settings let you designate owners, viewers and collaborators (meaning they can edit pages) for your site. And you can make your Google Sites available to just a few people, your entire organization, or 


the 
Search with Google 


You can search across Google Sites pages and content using powerful Google search technology. You'll find specific pages and documents instantly, the same way you would on Google com. 


A 图 3.2 欢迎 来 到 Google Sites 
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如 宁 你 不 能 在 几 分 钟 内 列举 出 特质 ， 说 明 你 还 没有 足够 的 理解 你 的 


产品 ， 还 不 能 有 效 地 测试 它 。 





在 Google， 我 们 使 用 了 不 少 工 具 来 记录 特质 ， 从 文档 到 电子 表格 再 


到 定制 工具 ， 例 如 由 几 个 勤 揭 的 工程 师 开 发 出 来 的 Google 


Test 


Analytics (GTA) 。 用 什么 工具 并 不 重要 ， 重 要 的 是 把 这 些 特质 都 记录 
下 来 ， 如 图 3.3 所 示 。 


Jarbon@google.com | Sign out 


Google test analytics 


+] Sites-Test 


Attributes, 


Attributes al one ayn 6 meee ter would describe your applica! such as "Fast" or "Secure". 
Attributes in the AO model a Mod you tc Mp Ca abilities dioi usiness requirements. Leam more 





| searchable 














performed for this attribute are sufficient to verify its operation 


no technical knowledge - 
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A 图 3.3 GTA 中 记录 的 Google Sites 的 特质 


2.C 代 表 组 件 (component) 

组 件 是 系统 的 名 词 ， 在 特质 被 识别 之 后 确定 。 组 件 是 构成 竺 建 系统 
的 模块 ， 例 如 在 线 商店 的 购物 车 和 结账 系统 ，Word 处 理 器 的 格式 化 和 
打印 功能 等 。 组 件 是 使 一 个 软件 之 所 以 如 此 的 关键 代码 块 。 实 际 上 ， 他 
们 正 是 测试 人 员 要 测试 的 对 象 。 

注意 

组 件 是 构成 待 建 系统 的 模块 ， 是 使 一 个 软件 之 所 以 如 此 的 核心 要 素 
和 代码 块 。 

一 般 来 说 ， 组 件 容易 识别 ， 经 常 出 现在 设计 文档 里 。 对 大 型 系统 来 
说 ， 它 们 是 架构 图 里 的 大 框架 ， 经 常 出 现在 bug 库 中 的 标签 里 ， 或 者 在 
项 目 主页 和 文档 中 被 高 亮 出 来 。 对 小 型 项 目 来 说 ， 它 们 是 代码 里 的 类 和 

















对 象 。 无 论 何 时 ， 只 要 问 一 下 开发 人 员 ”* 你 们 在 编写 什么 组 件 ”， 你 就 可 
以 坚 不 费 力 地 得 到 一 个 列表 。 

与 特质 一 样 ， 在 识别 组 件 时 ， 到 达 何 种 级 别 的 细致 程度 是 至 关 重 要 
的 。 太 多 的 细节 除了 把 人 摘 军 之 外 不 会 再 有 什么 好 处 ， 而 太 少 的 细节 也 
会 导致 无 物 可 测 。 确 保 一 个 短小 的 列表 : 10 看 起 来 不 错 ，20 就 太 多 了 ， 
当然 除非 系统 非常 大 。 把 一 些 次 要 的 东西 排除 在 外 ， 是 可 以 的 。 既 然 是 
次 要 的 ， 那 它们 或 者 是 另外 一 个 组 件 的 一 部 分 ， 又 或 者 对 于 最 终 用 户 而 
言 都 无 关 紧 要 ， 不 值得 在 上 面 花 精力 。 

事实 上 ， 对 于 特质 和 组 件 来 说 ， 用 几 分 钟 的 时 间 来 理 清 它们 就 足够 
了 。 如 果 你 费 了 很 大 劲 来 确定 这 些 组 件 ， 那 说 明 你 对 产品 缺乏 了 解 ， 你 
应 该 花 一 些 时 间 来 使 用 它 直 到 成 为 高 级 用 户 。 任 何 高 级 用 户 都 应 该 能 够 
立即 罗列 出 特质 列表 ， 任 何 对 源 代码 和 文档 有 访问 权限 的 项 目 内 部 人 员 
也 应 该 能 够 迅速 地 列 出 它 的 组 件 。 坚 无 疑问 ， 我 们 认为 很 重要 的 一 点 
是 ， 测 试 人 员 既 是 高 级 用 户 ， 也 是 项 目 内 部 人 员 。 

最 后 ， 不 必 担 心 完整 性 问题 。 整 个 ACC 过 程 的 要 点 是 快速 行动 ， 动 
态 和 欠 代 。 漏 抒 的 特质 可 以 在 罗列 组 件 时 被 发 现 。 当 你 开始 做 “能 力 ” 部 分 
《译注 : Capability， 见 下 一 节 ) 的 时 候 ， 你 也 会 找到 那些 先前 遗漏 的 特 
质 或 组 件 。 

Google Sites 的 组 件 如 图 3.4 所 示 。 

3.C 代 表 能 力 (capability) 

能 力 是 系统 的 动词 ， 代 表 关 系统 在 用 户 指 令 之 下 完成 的 动作 。 它 们 
是 对 输入 的 啊 应 、 对 查询 的 应 答 ， 以 及 代表 用 户 完 成 的 活动 。 事 实 上 ， 
这 正 是 用 户 选 择 一 个 软件 的 原因 所 在 : 他 们 需要 一 些 功 能 而 你 的 软件 提 
供 了 这 些 功 能 。 
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和 图 3.4 GTA 中 记录 的 Google Sites 的 组 件 

注意 

能 力 是 系统 的 动词 ， 代 表 着 系统 在 用 户 指 令 之 下 完成 的 动作 。 它 们 
是 对 输入 的 响应、 对 查询 的 应 答 以 及 代表 用 户 完 成 的 活动 。 

例如 ，Chrome 有 具有 演 染 Web 页 面 和 播放 Flash 文 件 的 能 力 ， 可 以 同 
步 多 个 客户 端 ， 下 载 文档 。 所 有 这 些 都 是 能 力 ， 再 加 上 许多 其 他 的 功 
能 ， 构 成 了 Chrome ”Web 浏览 器 的 完整 能 力 集合 。 男 一 方面 ， 一 个 购物 
应 用 具有 商品 搜索 和 完成 一 笔 交 易 的 能 力 。 当 一 个 应 用 能 够 完成 一 个 任 
务 的 时 候 ， 这 个 任务 驶 被 标记 为 它 的 一 项 能 

能 力 处 于 特质 和 组 件 的 交点 。 组 件 CcomponenO 执行 某 种 功能 
(function) 来 满足 产品 的 一 个 特质 Cattribute) ， 这 个 活动 的 结果 是 回 
用 户 提供 某 种 能 力 (capability〉。Chrome 飞 快 地 演 染 一 个 页 面 。 
Chrome 安 全 地 播放 一 个 Flash 文 件 。 如 果 你 的 产品 所 做 的 一 件 事情 不 属 
于 任何 特质 和 组 件 的 交点 ， 这 件 事 大 概 也 是 无 关 紧 要 的 ， 而 且 还 会 让 人 





产生 疑问 ， 为 什么 要 实现 这 样 的 功能 呢 ? 如 果 一 个 功能 不 能 为 产品 融 来 
核心 价值 ， 就 像 是 可 以 被 去 挥 的 肥 肉 一 样 ， 那 么 这 个 功能 也 就 无 甚 益 
处 ， 反 而 可 能 会 市 来 不 少 毛 病 。 事 实 或 者 如 此 ， 或 者 是 有 合理 的 解释 但 
你 却 不 知道 。“ 不 懂 产 品 ” 是 测试 这 个 职业 所 不 可 接受 的 。 任 何 工程 师 ， 
如 果 理 解 了 产品 的 用 户 价 值 ， 他 就 可 以 成 为 一 名 测试 人 员 。 

这 里 是 一 个 例子 ， 展 示 了 一 个 在 线 商 店 上 共有 的 能 

从 购物 车 里 增加 或 删除 物品 。 这 是 Cart〈 购 物 车 ) 组 件 在 满足 直观 
的 UI Intuitive UD 特质 时 的 一 个 能 力 。 

获得 信用 卡 和 验证 数据 。 这 是 Cart 组 件 在 满足 便利 (convenient ) 
特质 和 集成 〈Integrated) 特质 〈 如 与 文 付 系统 集成 ) 时 的 一 个 能 力 。 

使 用 HTTPS 处 理 钱 亚 交易 。 这 是 Cart 组 件 在 满足 安全 (secure) FF 
质 时 的 一 个 能 力 。 

基于 购物 者 正在 浏览 的 商品 提供 建议 。 这 是 Search 组 件 在 满足 便 
^] Cconvenient) 特质 时 的 一 个 能 力 。 

计算 送 货 成 本 。 这 是 UPS 集 成 组 件 在 满足 快速 (fast〉 和 安全 
(secure) 特质 时 的 一 个 能 力 。 

显示 剩余 库存 。 这 是 Search 组 件 在 满足 便利 〈convenient) 和 精准 
Caccurate) 特质 时 的 一 个 能 力 。 

推迟 购买 。 这 是 Cart 组 件 在 满足 便利 〈convenient) 特质 时 的 一 个 能 











力 。 
根据 关键 字 、SKU 和 类 目 搜索 商品 。 这 是 ”Search 组 件 在 满足 便利 
(convenient) 和 精准 Caccurate) 特质 时 的 一 个 能 力 。 一 般 情况 下 ， 我 

们 倾 问 于 把 每 一 种 搜索 当 作 一 个 单独 的 能 

显然 你 会 发 现 大 量 的 能 力 。 当 你 感到 正在 列 出 所 有 可 测 之 处 的 时 

修 ， 说 明 你 已 经 掌握 了 ACC 的 精髓 ， 那 就 是 快速 简明 的 列 出 保证 竺 验证 

系统 能 正常 运转 的 那些 最 重要 的 能 

能 力 一 般 是 面 问 用 户 的 ， 表 达 的 是 用 户 眼 里 系统 的 行为 ， 往 往 比特 








质 和 组 件 都 要 多 很 多 。AcCC 的 前 两 步 遵循 简洁 法 则 ， 而 能 力 则 应 当 摘 述 
系统 的 完整 功能 ， 因 此 基于 应 用 的 功能 丰富 性 和 复杂 性 ， 能 力 在 数量 上 
可 以 很 大 。 

就 我 们 在 Google 涉及 的 系统 而 言 ， 大 型 复杂 应 用 拥有 成 百 上 二 个 能 
力 〈 例 如 ，Chrome OS 有 300 多 项 能 力 )， 而 较 小 的 应 用 则 有 数 十 个 能 
力 。 当 然 ， 只 有 几 个 能 力 的 产品 也 是 有 的 ， 往 往 只 需要 开发 人 员 自 己 或 
少数 早期 用 户 做 一 些 测试 就 行 了 。 因 此 ， 当 所 测 产品 的 能 力 少 于 20 个 
时 ， 可 能 需要 反思 一 下 自己 在 这 个 项 目 中 的 意义 。 

能 力 最 重要 的 一 个 特点 是 它 的 可 测试 性 。 这 是 我 们 用 主动 语 态 来 表 
达能 力 的 主要 原因 。 它 们 是 动词 ， 因 为 我 们 为 了 完成 某 个 动作 ， 我 们 不 
得 不 编写 测试 用 例 去 验证 这 个 能 力 得 到 了 正确 的 实现 ， 而 用 户 将 因为 这 
个 特性 而 喜欢 这 个 产品 。 后 面 我 们 将 讨论 如 何 把 能 力 转 换 成 测试 用 例 。 

注意 

能 力 最 重要 的 一 个 特点 是 它 的 可 测试 性 。 

在 罗列 能 力 时 ， 应 该 达到 什么 样 的 抽象 级 别 呢 ? 这 在 Google TE 中 
存在 很 大 的 争议 。 依 其 定义 ， 能 力 不 是 原子 动作 。 一 个 能 力 可 以 描述 任 
意 数 量 的 用 例 。 在 之 前 摘 述 在 线 商 店 的 例子 中 ， 能 力 描述 并 没有 限定 购 
物 车 中 的 商品 或 一 个 搜索 的 结果 ， 而 只 是 表达 了 用 户 可 能 会 做 的 事情 。 
这 是 有 意 的 ， 因 为 太 多 的 细节 会 导致 长 篇 大 论 。 穷 尽 所 有 可 能 的 搜索 和 
购物 车 配置 来 完成 测试 是 不 可 能 的 。 因 此 ， 我 们 在 把 能 力 转 换 成 测试 用 
例 的 时 候 ， 只 会 重点 考察 那些 实际 使 用 的 测试 场景 。 

能 力 摘 述 并 不 是 测试 用 例 ， 不 会 包含 实际 测试 所 需要 的 一 切 信息 ， 
例如 特定 的 值 和 具体 的 数据 。 能 力 只 要 说 明 用 户 可 以 购物 ， 而 测试 用 例 
则 要 指定 他 们 买 什么 东西 。 能 力 是 软件 可 以 提供 或 者 用 户 可 能 要 求 的 动 
作 的 一 般 性 概念 ， 是 抽象 的 ， 测 试 和 价值 隐 含 其 中 ， 但 它们 不 是 测试 本 
E. 

还 是 以 Google ”Sites 为 例 ， 图 3.5 给 出 了 一 个 以 特质 为 x 轴 ， 组 件 为 y 
































轴 的 表格 。 通 过 这 种 方法 ， 能 力 补 映射 到 特质 和 组 件 上 。 首 先 ， 注 意 大 
量 的 单元 格 是 空 的 。 这 很 正常 ， 因 为 不 是 每 个 组 件 对 每 个 特质 部 有 影 
啊 。 对 Chrome 来 说 ， 只 有 一 部 分 组 件 对 快速 或 安全 性 负责 ， 而 其 他 组 
件 对 这 些 特质 却 没 有 影响 ， 对 应 的 单元 格 就 为 空 。 空 单元 格 表示 我 们 不 
必 测 试 这 个 特定 的 特质 组 件 对 。 
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4 图 3.5 在 GTA 中 ， 能 力 被 关联 到 特质 和 组 件 上 

能 力 表 的 每 一 行 或 列表 示 按 某 种 方式 相关 联 的 一 个 功能 切片 ， 是 将 
应 用 功能 分 解 为 多 个 可 测试 的 活动 的 一 个 好 办 法 。 测 试 经 理 可 以 把 每 一 
行 分 给 一 个 测试 小 组 ， 或 者 针对 一 行 或 一 列 进行 深度 的 pug 大 扫除 。 行 
或 列 也 是 探索 式 测试 的 极 好 目标 ， 每 个 探索 式 测 试 人 员 负 责 不同 的 行 和 
列 ， 就 可 以 有 效 避 免 重 登 ， 并 达到 更 高 的 履 善 度 。 

单元 格 中 的 数字 表示 该 组 件 满足 此 特质 的 能 力 的 数量 。 因 此 ， 这 个 
数 越 大 ， 该 交叉 点 需要 的 测试 点 就 越 多 。 例 如 ，Page View 组 件 有 3 个 能 
力 影响 到 Sharing 这 个 特质 。 

















协作 者 都 有 权限 访问 相关 文档 。 

与 丸 外 一 个 协作 者 分 担 页 面 管理 贡 任 。 

查看 一 个 页 面 中 协作 者 的 位 置 。 

这 些 能 力 点 可 以 很 方便 地 指定 Page View / Sharing 这 个 组 件 /特质 对 
再 要 的 测试 。 我 们 可 以 直接 为 这 些 能 力 点 编写 测试 用 例 ， 或 者 将 它们 组 
合成 更 大 的 用 例 或 测试 场景 来 测试 能 力 的 组 合 。 

书写 民 好 的 能 力 需 要 一 些 训练 。 下 面 是 一 些 能 力 应 该 满足 的 特性 以 
供 参 考 。 

(1) 一 个 能 力 点 应 当 被 表达 为 一 个 动作 ， 反 映 了 用 户 使 用 被 训 应 
用 完成 一 定 的 活动 。 

(2) 一 个 能 力 点 应 当 为 测试 人 员 提 供 足 够 的 指导 ， 用 以 理解 在 纺 
写 测试 用 例 时 涉及 的 变量 。 例 如 ， 使 用 http 处 理 钱 区 交易 这 个 能 力 ， 需 
要 测试 人 员 理 解 系统 文 持 何 种 类 型 的 钱 球 交易 、 如 何 验 证 交易 是 通过 
http 进 行 的 。 显 然 ， 这 里 有 很 多 工作 要 做 。 如 果 茶 些 钱 亚 交易 有 被 遗漏 
的 可 能 《〈 如 被 菜 个 测试 新 人 ) ， 那 么 就 一 定 要 把 这 个 能 力 复制 多 份 ， 以 
便 能 明确 的 展示 各 种 交易 类 型 。 如 采 不 会 发 生 遗 漏 ， 原 来 的 抽象 程度 就 
EE So EER, WR http 是 大 家 都 理解 的 东西 ， 那 这 个 词 无 需 额外 解 
释 。 千 万 不 要 折 进 把 一 切 东西 都 当 作 能 力 记 录 下 来 的 陷阱 。 能 力 应 当 是 
抽象 的 ， 把 更 多 的 细节 留 给 测试 用 例 或 者 探索 式 测 试 吧 将 这 些 细 市 留 
给 测试 人 员 ， 为 从 不 同 角 上 度 理解 能 力 和 编写 测试 用 例 留 下 了 自由 发 挥 的 
空间 ， 这 有 助 于 提高 测试 的 覆 兰 度 ) 。 

(3) 一 个 能 力 应 当 与 其 他 能 力 组 合 。 实 际 上 ， 一 个 用 户 故 事 或 用 
例 《〈 或 你 选择 的 其 他 术语 ) 可 以 用 一 系列 能 力 来 描述 。 如 果 一 个 用 户 故 
事 无 法 用 现 有 的 能 力 来 表达 ， 那 说 明 你 遗漏 了 一 些 能 力 ， 或 者 能 力 描述 
的 抽象 程度 太 高 了 。 

用 一 系列 能 力 来 描述 用 户 故 事 ， 这 个 中 间 步 又 可 以 为 测试 带 来 更 大 
的 灵活 性 。 事 实 上 ， 在 Google 有 儿 个 团队 ， 在 与 外 包 接 洽 或 者 组 织 众 包 




















型 的 探索 式 测试 时 ， 更 愿意 使 用 比较 一 般 性 的 用 户 故 事 ， 而 不 是 太 细 节 
的 测试 用 例 。 很 细致 的 测试 用 例 反 而 会 导致 外 包 人 员 在 一 过 又 一 过 的 重 
复 执行 时 产生 厌倦 感 ， 而 用 户 故 事 则 为 确定 具体 行为 留 出 了 更 大 的 余 
地 ， 从 而 使 得 测试 更 加 有 趣 ， 较 少 因 为 枯燥 、 和 死板 地 执行 导致 产生 错 
Re 
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能 力 到 测试 用 例 的 一 般 性 指南 。 记 住 这 些 只 是 目标 ， 而 非 绝对 标准 。 

每 个 能 力 都 应 该 链接 到 至 少 一 个 测试 用 例 。 如 果 能 力 有 足够 的 重要 
性 被 记录 下 来 ， 也 应 该 有 足够 的 重要 性 被 测试 。 

很 多 能 力 需要 多 个 测试 用 例 。 每 当 输 入 、 输 入 顺序 、 系 统 变量 、 使 
用 的 数据 等 存在 变化 的 时 候 ， 就 需要 编写 多 个 测试 用 例 。 “How to break 
software” 一 书 中 提 及 的 攻击 , “ExploratorSoftware Testing” 一 书 中 提 及 的 
漫游 ， 都 可 用 来 指导 测试 用 例 的 选择 或 思考 哪些 数据 和 输入 最 有 可 能 友 
现 一 个 bug。 

并 非 所 有 的 能 力 都 是 同等 重要 的 。 流 程 的 下 一 步 〈 在 下 一 节 中 描 
述 ) 讨论 通过 关联 风险 来 区 分 能 力 的 重要 性 这 一 问题 。 

AcCC 的 完成 ， 意 味 着 所 有 可 测试 的 特性 都 被 定义 好 了 ， 剩 下 的 只 是 
预算 和 时 间 的 问题 了 。 这 就 需要 来 排 优 先 级 一 一 在 Google， 我 们 称 为 风 
险 分 析 ， 这 就 是 我 们 接 下 来 需要 讨论 的 主题 。 

示例 : 确定 Google+ 的 特质 、 组 件 和 能 

ACC 可 以 通过 文档 、 电 子 表 格 ， 甚 至 是 一 片 餐 巾 纸 来 快速 完成 。 这 
里 是 一 个 简略 版 的 Google+ 的 ACC 示 例 。 

Google+ 特 质 〈 仅 通过 参加 经 理 层 关于 Google+ 的 讨论 即 可 确定 ) 。 

Social (社交 ) : 文 持 用 户 分 享 信息 和 状态 。 

Expressive (KIA) : 用 户 可 以 通过 各 种 方式 表达 上 自我。 

Easy GAHA) : 赁 直觉 即 可 完成 各 种 操作 。 

Relevant HK) : 只 显示 用 户 关 心 的 信息 。 
































Extensible (可 扩展 ) : 能 够 与 Google 既 有 特性 、 第 三 方 网 站 和 应 用 
集成 。 

Private《〈 隐 私 ) : 不 能 泄露 用 户 数据 。 

Google+ 组 件 《〈 通 过 阅读 架构 文档 确定 ) 。 

Profile《〈 个 人 资料 ) : 己 登 录用 户 的 个 人 信息 和 偏好 设置 。 

People (A) : 用 户 已 经 加 了 的 好 友 。 

Stream〔 信 息 流 ) : 帖子 、 评 论 、 通 知 、 照 片 等 组 成 的 信息 流 。 

Circles (HIF) : 将 联系 人 按照 朋友 、 同 事 等 所 作 的 分 组 。 

Notifications GHAI) : 表示 你 在 某 篇 帖子 里 被 提 到 了 。 

Interests or +1〈 感 兴趣 ) : 用 户 对 喜欢 的 表达 。 

Posts (ii) : 来 自用 户 及 其 联系 人 的 文章 。 

Comments 《评论 ): 帖子 、 照 片 、 视 频 等 的 评论 。 

Photos CIR EO : 用 户 及 其 联系 人 上 传 的 照片 。 

Google+ 能 力 。 

Profile : 

Social: 与 好 友和 联系 人 分 享 个 人 信息 和 偏好 设置 。 

Expressive: 用 户 可 以 创建 虚拟 世界 里 的 自己 。 

Expressive: 用 Google+ 表 达 你 的 个 性 。 

Easy: 很 容易 输入 和 更 新 信息 ， 并 传播 开 来 。 

Extensible: 按照 适当 的 访问 权限 传递 个 人 信息 给 有 关 应 用 。 

Private: 确保 用 户 可 以 保护 自己 的 隐私 数据 不 被 泄露 。 

Private: 只 与 已 被 批准 的 、 适 宜 的 它 方 分 享 数据 。 

People: 

Social: 用 户 可 以 将 其 他 用 户 的 朋友 、 同 事 和 家 人 添加 为 好 友 。 

Expressive: 其 他 用 户 的 个 人 资料 是 个 性 化 的 ， 易 于 区 分 。 

Easy: 提供 方便 用 户 联 系 人 管理 的 工具 。 

Relevant: 用 户 可 以 根据 一 定 的 条 件 过 滤 联 系 人 列表 。 











Extensible: 只 给 有 授权 的 服务 和 应 用 提供 联系 人 数据 。 
Private: 确保 只 有 经 过 批准 才能 看 到 用 户 的 联系 人 数据 。 
Stream: 

Social: 将 社交 网 络 的 更 新 通知 到 用 户 。 

Relevant: 可 以 过 滤 掉 用 户 不 感 兴 趣 的 更 新 。 

Extensible: 将 信息 流 更 新 传 给 其 他 服务 和 应 用 。 

Circles: 

Social: 根据 社交 背景 将 联系 人 分 组 到 不 同 的 圈子 。 
Expressive: 可 以 基于 用 户 背 景 创建 新 的 圈子 。 

Easy: 方便 联系 人 的 添加 、 更 新 和 删除 。 

Easy: 方便 创建 和 修改 圈子 。 

Extensible: 将 圈子 数据 传递 给 有 关 服 务 和 应 用 。 
Notifications: 

Easy: 简洁 的 显示 通知 。 

Extensible: 将 通知 传递 给 其 他 服务 和 应 用 。 

Hangouts: 

Social: 用 户 可 以 对 圈子 中 的 好 友 发 送 群 了 黎 邀 约 。 

Social: 用 户 可 以 将 群 聊 公 开 。 

Social: 其 他 人 可 以 在 他 们 的 信息 流 中 得 到 群 聊 通 知 。 
Easy: 几 次 简单 的 单 击 就 可 以 创建 和 参与 一 个 群 聊 。 
Easy: 一 次 点 击 就 可 以 关闭 视频 和 音频 输入 。 

Easy: 额外 的 用 户 可 以 被 加 入 进行 中 的 群 聊 。 
Expressive: 在 加 入 和 群 聊 之 前 ， 用 户 可 以 预览 自己 的 形象 。 
Extensible: 用 户 在 视频 群 聊 中 可 以 通过 文本 交流 。 
Extensible: YouTube 中 的 视频 可 以 放 到 群 聊 中 。 
Extensible: 可 以 在 Settings 中 配置 和 调整 有 关 设 备 。 
Extensible: 没有 摄像 头 的 用 户 可 以 仅 通过 音频 参与 。 








Private: 未 经 邀请 ， 不 能 参与 群 聊 。 
Private: 未 经 邀请 ， 不 会 收 到 群 聊 通知 。 
Posts: 

Expressive: 通过 Buzz 表 达 用 户 的 想法 。 
Private: 帖子 限制 在 希望 的 范围 内 。 
Comments: 

Expressive: 通过 评论 表达 用 户 的 想法 。 
Extensible: 将 评论 数据 公布 给 其 他 服务 和 应 用 。 
Private: 评论 限制 在 希望 的 范围 内 。 

Photos: 

Social: 用 户 可 以 与 联系 人 和 好 友 分 享 照 请。 
Easy: 用 户 可 以 轻松 的 完成 照片 上 传 。 

Easy: 用 户 可 以 轻松 的 从 其 他 来 源 导 入 照片 。 
Extensible: 与 其 他 照片 服务 集成 。 

Private: 对 照片 的 查看 限制 在 希望 的 范围 内 。 
图 3.6 所 示 为 电子 表格 形式 的 ACC 结 果 。 
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A 图 3.6 Google+ 的 ACC 电 子 表格 
图 3.7 所 示 为 另外 一 种 视图 。 
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A 图 3.7 另外 一 种 Google+ 的 ACC 电 子 表格 
3.2.2 ]X 险 


风险 无 处 不 在 一 一 在 家 里 、 路 上 、 办 公 室 。 我 们 所 做 的 任何 一 件 事 
情 都 有 风险 相伴 ， 软 件 交 付 也 不 例外 。 我 们 购买 更 安全 的 汽车 、 使 用 防 
御 性 驾驶 (defensive driving) 方法 可 以 降低 驾驶 的 风险 。 在 单位 ， 我 们 
在 会 议 中 小 心 说 话 ， 在 选择 项 目 时 考虑 技能 的 匹配 程度 ， 以 便 减少 失业 
的 风险 。 如 何 降 低 软件 交付 的 风险 呢 ? 如 何 应 对 软件 发 生 故 障 ， 并 给 公 
司 声誉 带 来 难以 估量 的 伤害 这 一 极 大 可 能 事件 呢 ? 毕 竞 ， 没 有 完美 的 软 
件 。 

显然 ， 不 交付 软件 不 是 一 条 可 选 之 策 。 尽 管 这 是 一 种 完全 消除 了 故 
障 风险 的 方法 ， 而 且 公 司 是 从 可 以 掌控 eens 

HE DESCR vC EE P. BZD BT Ba, DX 
险 没 有 数学 上 的 精度 要 求 。 我 们 行走 在 人 行道 上 而 不 是 大 街中 央 ， 并 不 





是 因为 有 什么 公式 计算 出 59% 的 风险 降低 ， 而 只 是 凭借 一 个 常识 : 对 行 
人 来 说 ， 大 街中 央 不 是 一 个 安全 的 地 方 。 我 们 购买 带 安全 气 宫 的 汽车 ， 
并 不 是 因为 我 们 理解 提高 事故 幸存 概率 的 数学 知识 ， 而 是 因为 安全 气 吉 
显然 可 以 降低 脸 被 方 癌 盘 播 烂 的 风险 。 无 需 太 高 的 精度 ， 风 险 绥 解 即 可 
以 发 挥 强大 的 作用 。 确 定 风 险 的 过 程 称 为 风险 分 析 。 

1. 风 险 分 析 

在 软件 测试 中 ， 我 们 按照 一 个 常识 性 的 过 程 来 理解 风险 ， 下 面 是 一 
些 可 供 参 考 的 因素 。 

哪些 事件 需要 担心 ? 

这 些 事件 发 生 的 可 能 性 有 多 大 ? 

一 旦 发 生 ， 对 公司 产生 多 大 影响 ? 

一 旦 发 生 ， 对 客户 产生 多 大 影响 ? 

产品 具备 什么 绥 解 措施 ? 

这 些 缓解 措施 有 多 大 可 能 会 失败 ? 

处 理 这 些 失 败 的 成 本 有 哪些 ? 

恢复 过 程 有 多 困难 ? 

事件 是 一 次 性 问题 ， 还 是 会 再 次 发 生 ? 

影响 风险 的 因素 很 多 ， 试 图 精确 地 、 和 定量 地 计算 风险 比 缓解 风险 还 
要 有 麻烦。 在 Google， 我 们 确定 了 两 个 要 素 : 失败 频率 (frequency of 
failure) 和 影响 Cimpact) 。 测 试 人 员 用 这 两 个 要 素 给 每 项 能 力 打分 。 
我 们 发 现 ， 风 险 实 际 上 是 一 个 定性 的 相对 值 ， 而 非 一 个 定量 的 绝对 值 。 
风险 分 析 的 目标 不 是 要 给 出 一 个 精确 的 值 ， 而 是 要 识别 一 个 能 力 与 男 一 
个 相 比 风险 是 大 是 小 。 这 对 于 决定 以 何 种 顺序 测试 哪些 能 力 足 够 了 。 
GTA 提供 了 这 一 选项 ， 如 图 3.8 所 示 。 
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A 图 3.8 GTA 中 对 Google+ 依 照 失 败 频率 和 影响 所 做 的 风险 估计 

GTA 中 的 风险 发 生 频 率 有 4 个 预定 义 值 。 

罕见 Crarely) : 发 生 故 障 的 可 能 性 很 小 ， 发 生 问 题 后 的 恢复 也 很 
容易 。 

示例 : Chrome 的 下 载 页 面 (http:/www.google.com/chrome) 。 绝 大 
部 分 内 容 是 静态 的 ， 可 以 自动 检测 客户 端 OS。 即 使 页 面 的 核心 HTML 或 
脚本 发 生 了 骨 涡 ， 也 很 容易 通过 监视 代码 发 现 。 

少见 〈seldom) : 在 少数 情况 下 会 友和 后 故障 ， 但 是 在 使 用 场景 复杂 
度 不 高 的 情况 下 或 使 用 率 较 低 的 情况 下 ， 发 生 的 可 能 性 非常 小 。 

示例 : Chrome 的 Forward 按 钮 。 这 个 按钮 使 用 的 频率 远 小 于 Back 按 
钮 。 从 历史 记录 看 ， 它 很 少 出 问题 ， 即 使 发 生 了 ， 我 们 也 可 以 指望 早期 
发 布 通道 上 的 早期 用 户 会 很 快 的 注意 到 ， 因 为 这 会 是 相当 明显 的 。 

偶尔 〈occasionally) : 故障 的 情形 容易 想象 、 场 景 有 点 复杂 ， 而 
该 能 力 是 比较 常用 的 。 














示例 : Chrome 的 Sync 功能 。Chrome 会 在 不 同 客户 端 之 间 同 步 书 
答 、 主 题 、 表 单 填写 、 历 史 和 其 他 用 户 资 料 数据 ， 涉 及 不 同 的 数据 类 型 
及 多 个 OS 平台 ， 而 且 变 更 合并 (merging changes) 是 一 个 多 少 有 些 复 
杂 的 计算 机 科学 问题 。 用 户 也 会 注意 到 数据 是 否 同 步 成 功 。 同 步 只 会 在 
数据 变化 时 发 生 ， 例 如 当 加 入 一 个 新 书签 时 。 

JIL (often) : 此 能 力 所 属 的 特性 使 用 量 大 、 复 杂 度 高 、 问 题 频 
Ko 

示例 : Web 页 面 的 泻 染 。 这 是 浏览 器 的 最 主要 用 例 。 泻 染 各 种 来 源 
和 质量 的 HTML、CSS 和 JavaScript 代 人 码 是 浏览 右 的 基本 任务 。 这 些 代码 
的 问题 会 被 用 户 归 咎 到 浏览 器 。 对 一 个 高 流量 的 网 站 来 说 ， 发 生 问 题 的 
风险 更 大 。 演 染 问 题 未 必 总 能 被 用 户 发 现 。 它 们 经 党 导致 页 面 元 素 不 能 
完全 对 齐 但 不 会 影响 功能 的 正常 使 用 ， 或 者 元 素 没 有 显示 出 来 但 用 户 可 
能 不 会 注意 到 。 

测试 人 员 确 定 每 个 能 力 的 故障 发 生 频 率 。 我 们 有 意 使 用 侦 数 值 ， 以 
免 测试 人 员 偷 懒 使 用 中 间 值 。 在 输入 时 应 该 认真 的 想 一 想 。 

估计 风险 影响 的 方法 大 致 相同 ， 也 是 从 几 种 偶数 取 值 中 选择 一 个 
(更 多 来 自 Chrome 浏 览 器 的 例子 ) 。 

最 小 minimal〉: 用 户 甚 至 不 会 注意 到 的 问题 。 

示例 :Chrome 实验 室 是 一 个 可 选 功能 ， 不 能 加 载 “chrome:Vlabs” 页 
面 只 影响 到 极 少 的 用 户 。 因 为 该 页 面包 含 可 选 的 Chrome 实验 特性 ， 大 
多 数 用 户 甚至 不 知道 它们 的 存在 。 这 些 特 性 本 身 也 注 明 了 “ 自 担 风 险 ”， 
不 会 危及 核心 浏览 器 。 

一 些 (some) : 可 能 会 打扰 到 用 户 的 问题 。 一 旦 发 生 ， 重 试 或 恢 
复 机 制 即 可 解决 问题 。 

示例 : refresh 按钮 。 如 果 当 前 页 面 刷新 失败 ， 用 户 束 可 以 在 原来 的 
标签 页 里 重新 输入 URL， 或 者 在 一 个 新 的 标签 页 里 打开 ， 甚 至 在 极端 情 
形 下 重启 浏览 器 。 故 障 的 代价 很 低 ， 用 户 只 是 稍 感 烦 扰 。 





























较 大 〈considerable) : 故障 导致 使 用 受阻 。 

示例 : _ Chrome 扩展。 如果 用 户 安 装 了 Chrome 扩 展 来 增加 功能 ， 而 
这 些 扩 展 在 新 的 Chrome 版 本 中 加 载 失 败 ， 那 么 它们 的 功能 也 就 丢失 
ie 

最 大 (maximal) : 发 生 的 故障 会 永久 性 的 损害 产品 的 声誉 ， 并 导 
致 用 户 不 再 使 用 它 。 

示例 : Chrome 的 自动 更 新 机 制 。 该 特性 一 旦 失败 ， 就 会 导致 关键 
性 的 安全 升级 无 法 进行 ， 甚 至 使 整个 浏览 器 停止 工作 。 

有 时 问题 对 公司 和 用 户 产 生 的 影响 是 不 一 致 的 。 例 如 ， 公 司 标志 加 
载 失 败 对 于 Google 是 一 个 问题 ， 但 却 未 必 会 被 用 户 注 意 到 。 在 打分 的 时 
候 注 意 一 下 所 考虑 的 风险 是 针对 公司 的 还 是 用 户 的 ， 是 非常 有 用 的 。 

对 Google ”Sites， 基 于 测试 人 员 的 输入 以 及 之 前 给 出 的 特质 一 组 件 
表 ， 我 们 可 以 生成 一 个 风险 区 域 的 热 图 ， 如 图 3.9 所 示 。 

表 中 的 单元 格 以 红色 、 黄 色 或 绿色 高 之 显示 ， 分 别 表示 相应 组 件 在 
各 交叉 点 的 风险 级 别 。 风 险 级 别 是 你 已 经 输入 的 值 的 一 个 简单 计算 一 一 
每 个 能 力 的 风险 的 简单 平均 。GTA 自动 生成 了 这 个 热 图 ， 但 电子 表格 
也 可 以 做 到 。 

此 图 代表 了 该 产品 可 测试 的 能 力 及 其 风险 ， 这 些 数 字 难 免 有 一 些 偏 
见 ， 因 为 它们 只 代表 了 测试 人 员 的 理解 。 我 们 还 应 该 努力 听取 其 他 相关 
人 员 的 意见 。 下 面 是 一 个 相关 人 员 的 列表 以 及 邀请 他 们 一 起 来 估计 风险 
的 一 些 建 议 。 

FRAR: 大 多 数 开发 人 员 在 被 征求 意见 的 时 候 ， 都 会 给 自己 负责 
的 特性 选择 最 大 的 风险 ， 因 为 他 们 希望 自己 写 的 代码 得 到 充分 的 测试 。 
经 验 表 明 ， 开 发 人 员 对 自己 负责 的 特性 的 风险 估计 过 高 。 
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A 图 3.9 Google+ 早 期 版 本 的 特质 一 组 件 表 的 一 个 风险 热 图 


项 目 经 理 : PM 也 是 常人 ， 也 会 有 目 己 的 俩 见 。 在 对 能 力 点 重要 性 
的 评判 上 ， 他 们 当然 有 自己 的 偏好 。 通 常 来 说， 他 们 喜欢 那些 使 得 软件 
能 从 苋 争 产品 中 脱 疾 而 出 引 人 和 人 注目 的 特性 。 

HEARN: 销售 周 位 本 来 就 是 要 吸引 用 户 的 ， 因 此 他 们 会 对 那些 有 
卖点 、 演 示 起 来 很 拉 风 的 特性 更 感 兴趣 。 

总 监 和 VP: 管理 层 经 常会 更 加 注意 那些 使 软件 有 别 于 主要 竞争 对 
手 产品 的 特性 。 

显然 ， 所 有 利益 相关 人 员 都 有 明显 的 偏好 ， 因 此 我 们 的 办 法 就 是 征 
求 所 有 人 的 意见 ， 请 大 家 各 目 给 前 面 所 述 的 两 项 指标 打分 。 并 不 总 是 轻 
而 易 举 地 就 能 吸引 大 家 的 参与 ， 不 过 我 们 发 现 了 一 个 成 功 的 策略 。 我 们 
并 不 需要 跟 他 们 解释 这 个 流程 然后 说 服 他 们 来 帮忙 ， 只 要 自己 完成 然后 
把 热 图 展示 给 他 们 残 行 了 。 一 旦 他 们 发 现 其 中 的 偏差 ， 上 自然 束 会 提出 目 
己 的 意见 。 开 发 人 员 知 道 这 个 热 图 会 被 用 来 决定 测试 的 优先 级 ， 因 此 参 





























与 度 很 高 ;项目 经 理 和 销售 人 员 也 是 一 样 ， 质 量 对 大 家 都 很 重要 。 

这 个 方法 很 给 力 。 我 们 自己 确定 风险 所 得 到 的 结论 ， 室 无 疑问 会 被 
质疑 。 在 将 风险 分 析 结 果 作 为 随后 测试 的 依据 展示 给 大 家 的 时 候 ， 我 们 
实际 上 是 树 了 一 个 靶子 供 大 家 争论 。 这 就 是 重点 : 与 其 询问 他 们 关于 某 
个 模糊 概念 的 看 法 ， 不 如 拿 一 个 明确 的 结论 来 引起 辩论 。 通 常 来 说 ， 都 
是 排除 容易 下 定义 难 。 除 此 之 外 ， 我 们 还 会 避免 让 每 一 个 人 都 去 查看 他 
们 其 实 不 感 兴趣 或 不 理解 的 数据 。 这 个 小 策略 使 得 我 们 通常 能 得 到 大 量 
有 效 的 输入 纳入 风险 计算 。 

一 旦 风险 估计 为 大 家 所 认同 ， 接 下 来 就 是 风险 缓解 了 。 

2. 风 险 绥 解 (Risk Mitigation) 

风险 不 大 可 能 彻底 消除 。 要 驶 有 风险 ， 但 我 们 仍然 会 开车 出 行 ， 旅 
游 有 风险 ， 但 我 们 并 没有 停止 旅游 。 通 常情 况 下 ， 风 险 并 没有 真 的 变 成 
伤害 。 为 什么 呢 ? 因为 我 们 会 以 实际 行动 缓解 风险 。 例 如 ， 我 们 会 避免 
在 一 天 的 某 个 时 间 驾 车 出 行 ， 避 人 免 到 一 些 地 方 旅行 。 这 就 是 缓解 。 

束 软 件 而 言 ， 一 种 极端 的 缓解 办 法 是 去 挥 风险 最 大 的 组 件 ， 交付 的 
软件 越 少 ， 风 险 越 小 。 但 是 ， 除 了 彻底 的 风险 消除 ， 还 有 很 多 措施 可 以 
绥 解 风险 。 

我 们 可 以 围绕 风险 大 的 能 力 点 编写 用 户 故事 ， 并 从 中 确定 低 风 险 的 
使 用 场景 ， 然 后 反馈 到 开发 团队 ， 请 他 们 有 人 针对 性 地 增加 约束 。 

我 们 可 以 编写 回归 测试 用 例 ， 以 确保 问题 在 重 现时 可 以 被 捕捉 到 。 

我 们 可 以 编写 和 运行 引发 故障 的 测试 用 例 ， 来 推动 开发 实现 恢复 和 
回 滚 的 特性 。 

我 们 可 以 插入 监听 代码 Cinstrumentation and watchdog code) ， 以 
便 更 早 地 检测 到 故障 。 

我 们 可 以 插入 代码 监听 软件 ， 发 现 新 旧版 本 间 的 行为 变化 以 发 现 回 
归 问 题 。 


具体 的 缓解 措施 很 大 程度 上 取决 于 应 用 本 号 以 及 用 己 对 于 安全 性 的 





























期 望 。 测 试 人 员 可 能 会 参与 到 实际 的 缓解 过 程 ， 但 更 主要 的 工作 是 暴露 
风险 。 那 些 标 记 为 红色 的 能 力 点 比 黄色 和 绿色 要 优先 处 理 ， 按 照 风险 顺 
序 进行 测试 。 原 则 是 : 如 果 不 能 全 测 ， 就 先 测 最 重要 的 ， 也 就 是 风险 最 
XH. 

按照 项 目 类 型 给 出 产品 是 否 可 以 友 布 的 建议 。 这 是 测试 人 员 的 员 
任 ， 他 可 以 充分 利用 风险 热 图 来 完成 这 件 事 。 如 果 是 Google Labs 
Experiment， 即 使 有 一 些 红色 的 区 域 ， 只 要 不 危及 隐私 或 安全 ， 也 是 可 
以 发 布 的 。 如 果 是 Gmail 的 一 次 主要 发 布 ， 甚 至 黄色 区 域 都 是 不 可 接受 
的 。 这 种 颜色 标识 简单 易 履 ， 即 便 是 测试 总 监 也 能 理解 。 

对 风险 的 担心 随 着 时 间 的 流逝 逐渐 减少 ， 大 量 成 功 的 测试 标志 着 风 
险 处 于 可 接受 的 级 别 。 这 也 解释 了 为 什么 我 们 要 把 测试 用 例 关 联 到 各 个 
能 力 点 以 及 风险 表 中 的 特质 和 组 件 ， 因 为 这 事 关 重大 。 事 实 上 ，ACC 完 
美 地 切合 此 需求 ， 这 就 是 我 们 的 设计 初衷 。 


James Whittaker 的 10 分 钟 测试 计划 


在 软件 开发 中 ， 任 何 一 种 可 以 在 10 分 钟 之 内 完成 的 事情 都 是 微 不 足 
道 的 ， 或 是 本 来 就 不 值得 做 的 。 照 此 经 验 法 则 ， 测 试 计划 是 怎样 的 呢 ? 
当然 ， 测 试 计 划 花 的 时 间 超 过 10 分 钟 。 在 我 作为 Google 测 试 总 监 期 间 ， 
我 的 团队 编写 了 大 量 的 测试 计划 ， 每 次 当 我 问 到 需要 多 长 时 间 完 成 的 时 
候 ， 常 常会 得 到 的 回答 是 “明天 ”、“ 周 末 前 ”等 ， 有 几 次 我 得 到 的 承诺 
是 “到 今天 结束 的 时 候 ”"。 因 此 ， 在 我 的 脑海 里 ， 测 试 计划 这 个 任务 的 时 
间 是 以 小 时 到 天 为 单位 来 计算 的 。 

至 于 训 试 计划 是 人 否 值得 ， 这 婚 是 另外 一 码 事 了 。 我 看 到 的 很 多 测试 
计划 都 已 经 名 存 实 亡 了 一 一 当 项 目 朝 着 计划 之 外 的 方 同 进行 的 时 候 ， 辛 
百 编写 、 评 审 的 计划 在 使 用 了 几 次 后 束 被 束 之 蜗 疼 了 。 这 束 带 来 了 一 个 
问题 : 如 果 一 个 计划 不 值得 费心 去 更 新 ， 那 么 当初 创建 它 又 有 何 意义 ? 














还 有 一 些 情况 ， 计 划 因 为 太 详 细 或 太 简 略 而 被 丢弃 ， 或 者 是 因为 它 
仅 在 测试 开始 时 有 用 。 这 再 一 次 提出 了 那个 问题 : 果真 如 此 ， 那 么 如 此 
有 限 和 迅速 递减 的 价值 能 抵消 当初 创建 计划 的 成 本 吗 ? 

一 些 测试 计划 摘 述 了 本 来 不 必 记 录 的 简单 事实 ,或 者 给 测试 人 员 提 
供 了 日 常 工作 并 不 需要 的 细节 。 在 所 有 这 些 情 形 下 ， 我 们 就 是 在 浪费 时 
间 。 还 是 让 我 们 面 对 现实 吧 ， 那 就 是 测试 计划 的 流程 和 内 容 有 问题 。 

为 了 解决 这 个 问题 ， 我 交 给 团队 一 个 简单 任务 : 用 10 分 钟 编写 一 个 
测试 计划 。 想 法 很 简单 : 如 果 测 试 计 划 真 的 有 价值 ， 那 就 让 我 们 尽快 地 
感受 到 。 

限定 10 分 钟 ， 显 然 就 没有 吗 嗪 的 空间 了 。 时 间 如 此 之 短 以 至 于 每 一 
秒 都 要 用 来 做 有 用 的 事情 ， 否 则 就 没有 希望 完成 这 个 任务 了 。 这 就 是 我 
设计 这 项 活动 的 全 部 意图 : 给 测试 计划 瘦身 ， 去 挥 见 余 ， 只 留 下 精髓 。 

只 列 出 绝对 必要 的 东西 ， 把 细节 留 给 测试 执行 者 而 不 是 测试 计划 者 。 假 
定 我 的 目标 是 停止 编写 经 受 不 住 时 间 考 验 的 测试 计划 ， 这 似乎 也 是 有 价 
值 的 。 

然而 ， 在 实验 过 程 中 ， 上 述 想 法 我 丝 训 没有 透露 。 我 只 是 告诉 大 
家 : 这 是 一 个 应 用 ， 请 在 10 分 钟 以 内 针对 它 搞定 一 份 测试 计划 。 记 住 这 
些 人 是 我 的 下 属 ， 理 应 服从 我 的 安排 。 技 术 上 来 讲 ， 我 的 位 置 使 我 有 权 
决定 他 们 是 否 还 能 在 Google 干 下 去 。 另 外 ， 我 假定 他 们 对 我 还 是 比较 尊 
敬 的 ， 这 意味 着 ， 他 们 会 感到 我 真 的 认为 他 们 能 完成 任务 而 不 是 故意 刁 
难 他 们 。 

作为 准备 ， 他 们 可 以 花 一 些 时 间 熟 悉 这 个 应 用 。 然 而 ， 许 多 应 用 
(Google Docs,App Engine,Talk Video 等 ) 都 是 大 家 每 周 都 在 用 的 工具 ， 
所 以 这 个 熟悉 时 间 很 短 。 

每 一 次 ， 这 些 团 队 都 会 使 用 类 似 ACC 的 方法 。 他 们 会 选择 速记 列 
表 、 创 建 表格 ， 而 不 是 写 大 段 的 文字 。 他 们 在 格式 化 及 解释 上 浪费 的 时 
间 很 少 ， 而 只 是 记录 下 能 力 点 。 事 实 上 ， 如 本 书 所 述 的 能 力 点 是 所 有 计 














划 的 共同 元 素 ， 是 所 有 团队 到 头 来 可 以 选择 的 最 能 有 效 利用 这 短 短 10 分 
PPA ITIE © 

没有 一 个 团队 能 在 给 定 的 10 分 钟 内 完成 实验 。 然 而 ， 在 10 分 钟 的 时 
间 里 ， 他 们 都 能 够 列 出 特质 和 组 件 《〈 或 帮助 达到 类 似 目标 的 东西 ) ， 并 
开始 描述 能 力 。 再 一 个 20 分 钟 之 后 ， 大 多 数 的 实验 团队 都 可 以 产生 一 个 
足够 大 的 能 力 集合 一 一 创建 用 户 故事 或 测试 用 例 的 民 好 起 点 。 

至 少 对 我 来 说 ， 实 验 获 得 了 成 功 。 我 给 他 们 10 分 钟 ， 其 实 估计 要 等 
一 个 小 时 。 他 们 在 30 分钟 的 时 间 里 完成 了 80% 的 工作 。 这 还 不 够 快 
吗 ? 根据 我 们 的 测试 经 验 ， 大 家 十 分 清楚 在 测试 过 程 中 不 大 可 能 完成 所 
有 测试 点 ， 既 然 如 此 ， 为 什么 要 求 在 测试 计划 中 面面俱到 呢 ? 我 们 十 分 
清楚 在 测试 真正 开始 以 后 ， 项 目 日 程 、 需 求 、 架 构 等 都 会 发 生变 化 ， 既 
然 如 此 ， 执 车 于 计划 的 精准 ， 而 无 视 注 定 的 变化 ， 这 无 疑 是 严重 脱离 现 
实 的 。 

30 分 钟 左右 ，80% 的 完整 性 ， 这 就 是 我 所 说 的 10 分 钟 测试 计划 。 

3. 关 于 风险 最 后 的 话 

Google Test Analytics 文 持 上 述 基 于 分 类 赋值 〈 非 常 罕 见 、 很 少 、 偶 
尔 、 经 常 ) 的 风险 分 析 。 我 们 特别 不 想 做 的 是 把 风险 分 析 搞 成 一 件 复杂 
的 工作 ， 那 样 的 话 就 不 会 有 人 用 了 。 我 们 也 不 特别 关心 实际 的 数字 和 计 
算 过 程 ， 因 为 一 个 孤立 的 数字 意义 很 小 。 很 多 时 候 只 要 知道 一 个 比 男 一 
个 风险 更 大 束 足 够 了 。 风 险 是 关于 选择 的 ， 选 择 这 个 而 不 是 那个 是 因为 
它 测试 了 一 个 风险 更 大 的 功能 。 知 道 A 比 B 风 险 更 大 就 足够 了 ， 不 需要 
过 分 关心 它们 的 有 具体 风险 值 。 知 道 一 个 特性 比 另 一 个 特性 的 风险 更 大 ， 
可 以 帮助 测试 经 理 更 好 的 分 配 测试 人 员 到 各 个 特性 上 。 在 组 织 级 别 ， 这 
可 以 帮助 Patrick Copeland 这 样 的 管理 者 决定 每 个 产品 团队 分 配 多 少 测 试 
人 员 。 理 解 风险 在 组 织 的 各 个 层次 都 有 价值 。 

风险 分 析 是 一 个 独立 的 领域 ， 在 许多 其 他 行业 里 被 严肃 地 对 待 。 我 
们 现在 采用 的 是 一 个 轻 量 级 的 版 本 ， 但 仍然 对 任何 可 以 改进 我 们 测试 方 





























法 的 研究 保持 关注 。 知 希望 了 解 更 多 风险 分 析 的 知识 ， 我 们 建议 你 在 
Wikipedia 上 搜索 Risk Management Methodology〈 风 险 管 理 方法 ) ， 这 可 
以 作为 进一步 学 习 这 一 重要 课题 的 起 点 。 

GTA 玫 助 我 们 识别 风险 ， 测 试 帮 助 我 们 绥 解 风险 ，TE 则 是 缓解 活 
动 的 协调 人 。TE 可 能 会 决定 对 风险 较 大 的 领域 进行 内 部 测试 ， 要 求 
SWE 和 SET 增 加 回归 测试 。TE 会 安排 的 其 他 事情 ， 包 括 执 行 手工 的 或 探 
索 式 的 测试 ， 借 助 dogfood 用 户 、beta 用 户 以 及 众 包 进行 测试 等 。 

TE 有 中 任 理解 所 有 的 风险 点 ， 并 使 用 他 或 她 可 以 利用 的 任何 手段 
Tq MERE. 

下 面 是 一 些 有 用 的 指南 。 

(1) 对 于 任何 在 GTA 和 矩阵 中 显示 为 红色 的 高 风险 的 能 力 点 和 特质 
一 组 件 对 ， 一 定 要 编写 一 系列 用 户 故 事 、 用 例 或 者 有 和 针对 性 的 测试 指 
导 。Google TIE 对 风险 最 高 的 领域 负 有 个 人 责任 ， 即 使 他 们 可 以 协调 其 
他 TE、 使 用 各 种 工具 ， 最 终 的 贡 任 仍然 是 他 们 上 自己 的 。 

(2) 认真 了 解 之 前 已 经 完成 的 面 同 SET 和 SWE 的 测试 ， 评 佑 这 些 
测试 对 GTA 上 所 暴露 的 风险 级 别 的 影响 。 这 些 测试 是 否 足够 了 ? 还 需要 增 
加 和 额外 的 测试 吗 ? TE 需要 自己 编写 一 些 测试 用 例 ， 还 是 需要 请 SET 或 
SWE 来 编写 。 重 点 不 在 于 谁 来 写 ， 而 在 于 有 人 写 。 

(3) 分 析 每 个 高 风险 的 特质 一 能 力 对 相关 的 bug， 保 证 回归 测试 用 
例 存在 。bug 倾 回 于 在 代码 发 生变 更 时 重 现 。 高 风险 组 件 的 每 个 bug 都 应 
该 有 一 个 回归 测试 用 例 与 之 对 应 。 

(4) 仔细 思索 高 风险 的 区 域 ， 咨 询 可 能 的 回 深 和 恢复 机 制 。 通 过 
设想 最 坏 情 况 并 与 其 他 工程 师 讨 论 ， 发 现 所 有 可 能 对 用 户 产 生 影响 的 问 
题 。 实 验 并 确定 这 些 场景 成 为 现实 的 可 能 性 。 经 常 高 呼 狠 来 了 的 TE， 
其 可 信和 度 也 会 下 降 。 所 以 ， 减 少 过 分 反应 和 大 惊 小 怪 是 很 重要 的 ， 除 非 
问题 涉及 那些 真实 存在 的 、 现 有 测试 尚未 缓解 的 高 风险 场景 。 

(5) 引入 尽 可 能 多 的 相关 各 方 。dogfood 用 户 经 常 是 内 部 的 ， 在 独 





























目 使 用 系统 的 情况 下 他 们 只 能 提供 很 少 的 反馈 。 因 此 ， 要 主动 协助 
dogfood 用 户 ， 例 如 请 他 们 执行 特定 的 实验 和 场景 ， 问 他 们 一 些 问 
题 : “这 在 你 的 机 器 上 运行 得 怎么 样 六 “你 会 怎样 使 用 这 样 的 特性 ?等 。 
Google 的 dogfood 用 户 数量 众多 ，TE 应 该 学 会 非常 主动 地 利用 这 一 资 
源 ， 而 不 是 偶尔 为 之 。 

(6) 如 采 以 上 措施 皆 不 故 效 ， 某 个 高 风险 的 组 件 仍然 处 于 测试 不 
足 的 状态 ， 经 音 出 问题 ， 那 就 得 非常 努力 地 去 游说 相关 同事 。 这 正 是 一 
个 把 风险 分 析 的 概念 解释 给 项 目 成 员 、 体 现 TE 价 值 的 机 会 。 








Jason Arbon 的 用 户 故 事 


用 户 故 事 描 述 了 真实 用 户 或 期 望 用 户 使 用 被 测 应 用 的 行为 ， 描 述 了 
用 户 的 动机 和 视角 ， 而 有 意 忽略 产品 的 实现 和 设计 细节 。 用 户 故 事 中 可 
能 会 提 及 能 力 点 ， 但 也 只 是 一 带 而 过 ， 因 为 它们 的 关注 点 是 用 户 行为 。 
用 户 有 一 个 需要 ， 而 故事 通常 描述 了 该 用 户 如 何 使 用 软件 来 满足 需要 。 
一 个 故事 通常 是 一 般 性 的 ， 没 有 详细 的 步 又， 没有 便 编 码 的 输入 ， 它 只 
是 表达 了 完成 某 种 实际 工作 的 需要 ， 以 及 使 用 被 测 应 用 展开 该 工作 的 一 
WP TT IE 

在 编写 用 户 故 事 的 时 候 ， 我 们 仅 从 用 户 界 面 角 度 出 发 关注 产品 ， 而 
绝 不 应 该 擅 述 技术 性 内 容 。 这 种 一 般 性 使 得 测试 人 员 能 够 在 每 一 轮 测 试 

答 试 各 种 不 同 的 从 软件 中 得 到 输出 的 方法 ， 而 这 些 方法 是 真实 的 用 户 

在 完成 同样 的 任务 时 会 经 历 的 。 这 就 是 关键 。 

用 户 故 事 的 焦点 在 于 对 用 户 的 价值 ， 而 测试 用 例 则 要 比 用 户 故 事 更 
加 具体， 测试 用 例 通常 指定 了 具体 的 输入 和 输出 。 用 户 故 事 应 该 在 必要 
时 使 用 全 新 的 用 户 账号 ， 在 Google， 我 们 经 常 创建 任意 数量 的 测试 账 
写 ， 这 些 账号 代表 了 用 户 故 事 中 所 描述 的 用 户 。 同 时 ， 也 会 使 用 许多 旧 
账号 ， 这 些 账号 中 包含 不 少 历 史 信息 。 在 Google Documents 及 与 其 类 似 




















的 项 目 中 ， 当 把 老 用 户 在 旧版 本 中 创建 的 文档 导入 到 新 版 本 时 ， 发 现 了 
不 少 非 常 有 趣 的 bug。 

如 果 可 能 的 话 ， 我 们 还 会 尝试 更 换 不 同 的 测试 人 员 来 执行 这 些 场 
景 ， 尺 可 能 地 增加 不 确定 性 和 视角 。 

对 于 风险 较 低 的 能 力 点 ， 可 以 降低 些 要 求 。 我 们 可 能 会 做 出 判断 : 
为 较 低 风险 的 领域 编号 特定 的 测试 用 例 是 得 不 偿 失 的 。 我 们 可 能 会 选择 
进行 探索 式 测试 ， 或 者 使 用 众 包 去 测试 这 些 领 域 。 “漫游 "这 个 概念 作为 
探索 式 测试 〈 漫 游 的 详细 介绍 见 James = A. Whittaker,ExploratorSoftware 
Testing: Tips,Tricks,Tours,and Techniques to Guide Test Design (Addison 
Wesley,2009).) 的 指南 ， 经 各 被 用 以 指导 众 包 测试 人 员 的 工作 。“ 对 这 
些 能 力 点 做 一 下 Fed ”Ex 漫游 测试 "常常 要 比 简 单 地 扔 给 他 们 一 个 应 用 然 
后 乐 见 其 成 的 效果 要 好 得 多 。 我 们 马上 就 能 识别 出 希望 测试 的 特性 ， 然 
后 指导 他 们 如 何 展 开 测试 。 








James Whittaker: 众 包 





众 包 是 测试 领域 的 一 个 新 现象 ， 它 的 产生 基于 以 下 事实 : 测试 人 员 
在 数量 上 很 少 ， 而 且 拥 有 的 资源 也 很 有 限 ; 但 用 户 则 为 数 众多 ， 而 且 拥 
有 每 一 种 我 们 希望 用 来 测试 应 用 的 硬件 和 环境 组 合 。 当 然 会 有 一 部 分 用 
PIR RAIL, SMART? 

来 看 看 群众 的 力量 : 一 部 分 对 测试 懂行 的 高 级 用 户 ， 愿 意 来 帮忙 并 
拿 到 合理 的 报酬 。 他 们 只 需要 能 访问 预 发 环境 并 运行 被 测 应 用 即 可 ， 然 
后 通过 某 种 机 制 提 供 反 馈 和 bug 报 告 。 类 似 Chromium 这 样 的 开源 项 目 ， 
很 适合 大 众 测试 ， 而 那些 更 敏感 和 保密 的 、 只 能 在 内 网 访问 的 项 目 就 麻 
烦 一 些 ， 必 须 交 给 可 信 的 测试 人 员 。 

大 众 用 户 除 了 可 以 带 来 大 量 的 硬件 和 配置 ， 还 能 提供 多 种 不 同 的 视 
角 。 以 前 是 一 个 测试 人 员 想 象 1000 个 用 户 的 使 用 场景 ， 现 在 是 1000 个 真 




















实用 户 在 做 测试 的 工作 。 在 发 现 导 致 应 用 出 错 的 用 户 场景 方面 ， 还 有 比 
邀请 用 户 注册 来 试用 并 提供 反馈 更 好 的 方法 吗 ? 关键 在 于 变化 性 和 规 
模 ， 大 众 用 户 两 者 兼备 。 

今天 ， 愿 意 做 软件 测试 的 人 群 数量 很 大 ， 而 且 7x24 小 时 可 用 。 假 定 
我 们 想 在 新 发 布 的 Chrome 里 测试 1000 个 著名 网 站 ，1 个 测试 人 员 =1000 
次 测试 ，20 个 测试 人 员 =50 次 测试 。 这 就 是 人 民 群 众 的 力量 。 

大 众 测 试 员 的 主要 弱点 是 需要 一 定 的 时 间 来 学 习 被 测 应 用 ， 并 跟 上 
其 更 新 的 步伐 。 考 虑 到 大 众 测试 员 的 数量 ， 这 意味 着 惊人 的 浪费 。 然 
而 ， 这 仍然 是 可 以 管理 的 。 对 Chrome， 我 们 编写 了 产品 导 览 
Cours) ， 以 供 大 众 测 试 员 参 考 来 开展 探索 式 测试 和 运行 用 户 场 景 〈 见 
附件 B: Chrome 测试 导 览 ) 。 这 些 导 览 使 测试 工作 变 得 更 加 明确 ， 可 
以 直接 将 用 户 引导 到 应 用 的 特定 部 分 。 为 了 合理 分 工 ， 可 以 编写 多 个 导 
览 指南 ， 分 发 给 不 同 的 大 众 用 户 。 

大 众 测试 是 Google 的 金 丝 逢 、 开 发 、 测 试 、dogfood 系 列 测 试 的 一 
个 扩展 ， 是 我 们 与 早期 用 户 联系 的 一 种 方式 。 这 些 用 户 可 以 在 早期 就 发 
现 和 报告 bug。 在 Google， 和 希望 试用 产品 的 内 部 测试 人 员 、 在 各 个 产品 
组 之 则 按 需 流动 的 外 包 员 工 ， 以 及 商业 性 的 众 包公 司 如  uTestcom, ft 
们 都 曾经 参与 过 Google 产品 的 测试 。 我 们 还 悬赏 奖励 最 佳 bug 发 现 者 
CChrome 的 bug 换 奖金 活动 网 址 是 : 


http://blog.chromium.org/2010/01/encouraging-more-chromium- 

















security.html) 。 

ACC 的 真正 威力 在 于 它 能 用 来 确定 一 系列 的 能 力 点 ， 按 风险 排序 ， 
然后 分 配给 所 有 的 质量 伙伴 。 参 与 项 目的 TE 可 能 会 被 分 配 到 不 同 的 能 
力 点 ，dogfood 用 户 、20% 页 献 者 、 外 包 测 试 人 员 、 众 包 测 试 人 员 、 
SWE、SET 等 也 可 以 各 负 贡 一 个 能 力 子 集 。 这 样 ， 就 能 在 保证 重要 区 域 
履 盖 度 的 同时 又 减少 重复 测试 ， 比 简单 地 把 应 用 扔 出 去 一 哄 而 上 更 有 效 





与 SET 不 同 ，TE 的 工作 在 软件 交付 之 后 也 不 会 停止。 














无 论 是 来 自用 户 故 事 还 是 能 力 点 的 直接 转换 ， 其 结果 都 是 测试 用 
例 。Google 的 TE 为 一 个 应 用 编写 大 量 的 测试 用 例 ， 有 些 测 试用 例 精确 地 
描述 了 对 输入 和 数据 ， 也 有 些 测试 用 例 中 的 描述 是 宠 统 的 。 代 码 和 自动 
化 测试 都 由 公共 平台 管理 ， 而 测试 用 例 的 管理 则 仍 由 各 个 团队 自主 选 
择 ， 但 是 一 种 新 工具 的 出 现 正在 改变 这 种 情况 。 

电子 表格 和 文本 文档 一 直 是 保存 测试 用 例 的 常用 工具 。 践 行 快速 特 
性 开发 和 快速 交付 周期 的 团队 并 不 打算 长 期 保留 测试 用 例 ， 因 为 新 特性 
经 常会 使 原来 的 测试 脚本 失效 。 这 时 ， 所 有 测试 用 例 就 必须 重 写 。 在 这 
种 情况 下 ， 文 档 或 其 他 格式 一 样 可 以 用 来 共享 测试 用 例 ， 然 后 被 简单 地 
丢弃 。 文 档 还 适合 于 描述 一 次 测试 的 上 下 文 。 这 些 测 试 形式 比较 自由 ， 
更 多 是 关于 被 测 特性 的 一 般 性 建议 。 

当然 ， 一 些 团 队 用 精心 制作 的 电子 表格 来 存储 测试 步骤 和 数据 ， 甚 
至 还 会 用 来 记录 ACC 表 ， 因 为 这 比 使 用 GTA 更 灵活 。 但 这 需要 一 定 的 规 
泡 性 以 及 TE 团队 人 员 的 稳定 性 ， 因 为 一 个 TE 偏好 的 形式 可 能 是 男 一 个 
TE 所 不 习惯 的 。 大 幅度 的 人 员 流 动 要 求 一 种 更 加 结构 化 的 方式 ， 不 会 
受 团队 个 别 成 员 离 开 的 影响 。 

电子 表格 优 于 文档 。 通 过 表 列 这 种 结构 ， 可 以 方便 的 文 持 过 程 、 数 
据 以 及 pass 或 fail 标 签 等 的 记录 ， 也 易于 定制 。Google Sites 和 其 他 类 型 
的 在 线 wikis 常 被 用 于 展示 测试 信息 给 其 他 的 有 关 人 员 ， 吻 于 多 人 共享 和 
编辑 。 

BEA Google 的 发 展 壮大 ， 许 多 团队 手 里 的 规范 性 测试 用 例 和 回归 
测试 用 例 越 来 越 多 ， 这 些 测 试用 例 需 要 更 好 的 管理 。 实 际 上 ， 测 试用 例 
变 得 如 此 之 多 ， 以 至 于 搜索 和 共享 变 成 了 一 种 负担 ， 吸 需 其 他 的 解决 方 











案 。 一 些 测试 人 员 实 现 了 一 个 称 为 Test Scribe 的 系统 ， 它 松散 地 集成 了 
一 些 商 业 化 工具 和 定制 的 测试 用 例 管理 系统 ， 这 些 系 统 大 家 在 其 他 公司 
时 就 已 经 比较 熟悉 了 。 

Test Scribe 中 的 测试 用 例 具 有 严格 的 语法 模板 ， 而 且 人 允许 在 一 次 测 
试 执 行 中 包括 或 排除 部 分 测试 用 例 。Test Scribe 作 为 一 个 简单 的 实现 ， 
使 用 和 维护 它 的 热情 逐渐 减 小， 人 然而， 许多 团队 已 经 对 它 形成 了 依赖 。 
在 维护 了 几 个 季度 之 后 ，Test Scribe “下 线 ， 取 而 代 之 的 是 由 一 位 叫 
Jordanna Chord 的 资深 测试 开发 工程 师 在 2010 年 开 友 的 一 个 新 工具 : 
Google 测 试用 例 管家 GTCM (Google Test Case Manager) . 

GTCM 的 设计 思想 是 简化 测试 用 例 的 编写 。 它 提供 了 一 种 灵活 的 标 
签 格式 ， 任 何 项 目 可 以 自行 定制 ， 这 使 得 测试 用 例 便 于 得 找 和 复 用 。 最 
重要 的 是 ， 将 GTCM 与 Google 的 基础 设施 相 集成 ， 使 得 测试 结果 得 以 成 
为 头等 公民 。 图 3.10 一 图 3.14 展 示 了 GTCM 的 各 种 截图 ， 其 中 图 3.11 是 测 
试用 例 创 建 页面 ， 测 试用 例 可 以 有 任意 多 的 章节 或 标签 。 这 样 ，GTCM 
可 以 文 持 一 切 测 试 ， 从 经 典 的 测试 和 验证 步骤 ， 到 探索 式 的 漫游 、 
cukes 〈 译 注 : cukes 是 一 种 行为 驱动 的 测试 用 例 描述 ， 参 见 
http://cukes.info) 、 用 户 故 事 描述 等 ， 甚 至 有 一 些 团 队 在 GTCM 测 试用 
例 中 存储 代码 或 数据 片段 。GTCM 必 须 文 持 各 种 类 型 的 测试 团队 以 及 他 
们 多 变 的 测试 用 例 格式 。 




















A 图 3.10 GTCM 主 页 关注 的 核心 是 搜索 体验 
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A [3.12 在 GTCM 里 创建 一 个 测试 用 例 
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A [813.14 Chrome 的 About 对 话 框 的 简单 测试 用 例 


GTCM 相 关 的 数据 有 助 于 理解 测试 人 员 使 用 测试 用 例 的 整体 情况 。 
测试 用 例 的 总 数 和 测试 结果 的 趋势 很 有 意思 ， 如 图 3.15 和 图 3.16 所 示 。 
测试 用 例 总 数 正在 接近 一 个 渐进 线 。 初 步 的 分 析 发 现 ，Google 正 在 淘汰 
一 些 老 的 、 更 多 依 乱 人 工 做 回归 的 项 目 及 其 测试 用 例 。 另 外 ，GTCM 主 
要 管理 手工 测试 用 例 ， 许 多 团队 正在 自动 化 他 们 的 手工 测试 ， 或 者 改 为 
众 包 测 试 和 探索 式 测试 ， 这 就 降低 了 内 部 TCM 中 测试 用 例 的 总 量 ， 但 
履 盖 度 却 在 提高 。 有 记录 的 测试 结果 的 数量 在 增加 ， 这 是 因为 几 个 较 大 
的 主要 依赖 手工 测试 的 团队 如 Android 占 了 很 大 比例 。 











Total Tests 


The total number of tests that have been added to TCM. 





A 3.15 GTCM 中 的 测试 用 例 的 数量 随时 间 的 变化 


有 记录 的 手工 测试 结果 的 总 数 在 增加 ， 这 符合 一 般 预 期 〈 见 图 
3.16) 。 


Total Test Results 


The total number of times tests in TCM have been executed. 


Zoom: id $d im im $m ly Max July 01, 2011 











A 图 3.16 GTCM 中 的 测试 结果 的 数量 随时 间 的 变化 

图 3.17 展 示 了 GTCM 关 联 的 bug 数 量 曲 线 ， 这 值得 一 看 ， 但 要 理解 数 
据 是 不 完整 的 。Google 的 文化 是 自 底 向 上 ， 一 些 团 队 会 跟踪 pug 来 自 于 
哪些 测试 用 例 ; 而 其 他 一 些 团 队 则 不 太 在 意 这 些 数据 ， 因 为 他 们 在 自己 
的 项 目 中 没有 发 现 这 些 数据 有 什么 大 的 价值 。 另 外 ， 并 不 是 所 有 的 bug 
都 来 自 于 手工 测试 执行 ， 有 一 些 是 由 自动 化 测试 产生 的 。 

从 第 一 天 开始 ，GTCM 就 有 一 个 重要 需求 : 清楚 简单 的 API。 
TestScribe 有 API， 但 它 是 HITP SOAP 型 的 。 身 份 验 证 机 制 很 麻烦 ， 导 致 
很 少 有 人 使 用 这 个 API。 随 着 内 部 安全 规格 的 提高 ， 原 来 的 验证 机 制 太 
笨 抽 了 。 为 了 解决 这 些 问 题 ，GTCM 使 用 RESTFUL 的 JSON API. 

GTCM 的 团队 希望 将 它 开 放 给 外 部 用 户 使 用 ， 和 希望 将 这 个 测试 用 例 
数据 库 开 源 ， 在 更 大 的 范围 内 一 起 维护 。GTCM 的 设计 也 充分 考虑 到 了 
外 部 的 复 用 。 它 建 在 Google App Engine 之 上 ， 具 有 良好 的 可 扩展 性 ， 并 











允许 Google 之 外 的 其 他 测试 人 员 运 行 他 们 上 自己 的 实例 。GTCM 内 部 实 
现 的 很 多 逻辑 和 UI 也 做 了 抽象 ， 使 之 不 依赖 于 Google App Engine， 可 以 
移植 到 其 他 平台 。 关 于 这 个 工作 的 进展 ， 可 以 关注 Google Testing 
Blog. 


Total Bugs 


The total number of bugs that have been reported for tests and results in TCM. 


Max July 01, 2011 











bug 和 bug 报 告 是 每 个 测试 人 员 都 理解 的 东西 。 发 现 bpug、 分 类 bug、 
修复 bug、 回 归 测 试 是 软件 质量 的 心跳 和 运作 模式 。 这 是 Google 测 试 活 
动 中 最 为 传统 的 部 分 了 ， 但 仍然 有 一 些 有 趣 的 不 同 之 处 。 在 本 节 ， 我 们 
忽略 那些 用 来 跟 踊 工 单 的 “bug”， 只 讨论 反映 了 代码 问题 的 bug。 这 样 ， 
bug 经 常 代表 着 工程 团队 每 天 每 时 每 刻 的 工作 。 

bug 的 诞生 。Google 的 任何 人 都 可 以 发 现 并 报告 bug。 当 产品 经 理 














在 早期 版 本 里 发 现 了 与 规范 不 一 致 的 问题 时 会 报告 bug; 当 开 有 发 人 员 意 
识 到 自己 不 小 心 提交 了 有 问题 的 代码 ， 或 者 在 代码 库 的 其 他 地 方 发 现 了 
问题 ， 或 者 在 内 部 试用 Google 产 品 的 时 候 ， 也 会 报告 bug。bug 还 会 来 自 
于 线 上 环境 、 众 包 测 试 、 外 包 员 工 测试 ， 以 及 关注 某 个 产品 的 Google 讨 
论 组 的 社区 经 理 。 许 多 内 部 版 本 的 应 用 还 会 有 一 键 报告 bug 的 功能 ， 如 
Google 地 图 。 男 外 ， 有 时 候 软 件 可 以 通过 API 自 动 创建 bug。 

因为 围绕 一 个 bug 的 跟踪 和 流程 占据 了 很 多 工程 师 一 大 块 儿 时 间 ， 
我 们 投入 了 大 量 工作 来 进行 流程 的 自动 化 。Google 第 一 个 bug 数 据 库 是 
BugDB， 它 不 过 是 几 张 数据 库 表 来 保存 信息 ， 再 加 上 一 些 查 询 检 索 功 
能 ， 并 能 提供 一 些 统计 报表 数据 。BugDB 一 直 用 到 ”2005 年 ， 在 那 一 
年 ， 几 个 Google 工 程 师 ，Ted Mao (译注 : 第 2 章 有 一 个 对 Ted Mao 的 访 
谈 ) 和 Ravi Gampala 实 现 了 Buganizer。 

Buganizer 的 主要 设计 目标 有 以 下 几 个 内 容 。 

更 加 灵活 的 n 级 组 件 层次 ， 以 取代 BugDB 简 单 的 项 目 > 组 件 > 版 本 层 
次 《当时 所 有 的 商业 bug 数 据 库 都 是 如 此 ) 。 

更 好 的 pug 跟 踩 审计 ， 与 分 类 和 维护 有 关 的 新 工作 流 。 

更 容易 的 跟踪 一 组 bug 以 及 创建 、 管 理 常 用 项 列表 。 

登录 验证 ， 更 加 安全 。 

创建 汇总 图 表 和 报告 的 文 持 。 

全 文 搜 索 和 变更 历史 。 

bug 的 缺 省 设置 。 

更 好 的 可 用 性 ， 更 加 直观 的 用 户 界 面 。 

1.Buganizer 的 一 些 细 节 和 数据 

最 早报 告 且 仍然 存在 的 bug: 2001 年 5 月 18 日 15 时 33 分 ， 标 题 是 Test 
Bug， 正 文 是 “First Bug! ”。 有 意思 的 是 ， 在 开发 人 员 被 要 求 输入 他 们 
的 CL 修复 的 bug 时 ， 这 个 bug 经 常 被 不 小 心 误 用 。 

最 早报 告 、 目 前 仍然 处 于 活跃 状态 的 bug 诞 生 于 1999 年 3 月 ， 建 议 进 














行 性 能 分 析 以 减少 根据 地 区 产生 广告 的 延迟 。 最 后 的 动作 发 生 在 2009 
年 ， 有 人 在 编辑 中 说 可 以 进行 分 析 ， 但 这 需要 架构 上 的 变化 。 实 际 上 ， 
当前 的 延迟 挺 好 的 。 

下 面 是 一 些 有 关 Google “bug 数据 的 报告 ， 其 中 一 部 分 是 自动 记录 
的 ， 一 部 分 是 手工 记录 的 ， 报 告 展示 了 整体 数据 。 某 些 自动 记录 主导 了 
bug 的 趋势 ， 我 们 没有 突出 任何 单独 的 团队 ， 尽 管 那样 做 也 很 有 意思 。 

很 多 bug 的 优先 级 都 是 P2《〈 译 注 : 类 似 很 多 bug 管 理 系统 ， 我 们 使 用 
PX 一 一 X 是 一 个 整数 ， 用 来 定义 bug 的 优先 级 。P0 代表 最 糟糕 的 bug,， 
Pl 次 之 等 ) 级 别 ，P1 少 得 多 ，P0 则 更 少 ， 如 图 3.18 所 示 。 现 象 本 身 不 
能 直接 说 出 原因 ， 但 这 个 分 布 可 能 标志 着 本 书 所 描述 的 工程 方法 论 是 有 
效 的 。 还 有 一 种 可 能 是 人 们 懒得 去 提 P1 的 问题 ， 这 与 我 们 所 知 不 符 。P3 
和 P4 的 bug 通 常 不 会 被 提交 ， 因 为 人 们 很 少 去 关心 这 样 的 问题 。 

bug 的 平均 年 龄 也 符合 通常 预期 ， 如 图 3.19 所 示 ， 除 了 P0 bug 显 得 有 
点 反常 。 然 而 ， 这 也 是 可 以 理解 的 ， 因 为 PO0 bug 常常 有 反映 了 严重 的 设计 
或 部 署 问题 ， 调 试 复杂 度 高 ， 难 以 修复 。 其 他 bug 优 先 级 越 低 ， 重 要 性 
越 低 ， 平 均 修 复 响应 时 间 也 就 越 长 。 
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A 图 3.18 Buganizer bug 的 优先 级 分 布 
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A [53.19 Buganizer bug 的 平均 年 龄 


图 3.20 所 示 的 bug 发 现 图 显示 了 bug 的 逐 月 的 绥 慢 增加 。 单 从 此 图 ， 
我 们 无 法 系统 地 理解 这 种 增长 的 含义 。 一 种 下 接 的 解释 是 代码 和 开发 人 
员 越 来 越 多 ， 但 是 ，bug 增加 的 速度 要 小 于 测试 人 员 和 开发 人 员 增 加 的 
速度 。 也 许 是 我 们 的 代码 在 质量 控制 之 下 变 得 越 来 越 好 ， 也 许 是 被 我 们 
发 现 的 数量 减少 了 。 





Found Bugs Trend over last 12 months 
View or 


All Buganzier data from current view 
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A 图 3.20 bug 发 现 的 趋势 

图 3.21 所 示 的 修复 率 说 明 团 队 通常 都 能 很 好 的 控制 bug 率 。 许 多 
以 在 bug 到 达 的 速度 超过 了 其 修复 能 力 的 时 候 ， 干 脆 不 再 进行 新 功能 特 
性 的 开发 。 我 们 强烈 推荐 这 种 实践 ， 而 反对 那 种 只 盯 着 特性 或 者 代码 完 
成 的 里 程 碑 的 做 法 。 集 中 精力 于 少量 测试 过 的 代码 、 增 量 式 的 测试 以 及 
内 部 试用 ， 这 些 有 助 于 将 bug 率 置 于 有 效 控制 之 下 。 

随 着 越 来 越 多 的 Google 产 品 对 外 开源 ， 就 像 Chrome 和 Chrome OSJIE 
样 ， 继 续 使 用 一 个 bug 数 据 库 变 得 越 来 越 不 可 能 了 。 这 些 项 目 还 会 使 用 








外 部 可 见 的 bug 数 据 库 ， 例 如 ，WebKit 使 用 Mozilla 的 Bugzilla 来 记录 问 
题 ，chromium.org 则 使 用 Issue ”Tracker。Googler 被 鼓励 报告 他 们 看 到 的 
任何 产品 里 的 bug， 包 括 苋 争 产 品 里 的 。 首 要 目标 是 使 得 整个 Web 变 得 
更 好 。 

Issue Tracker 是 所 有 Chrome 和 Chrome OS bug 的 核心 库 。 这 意味 着 任 
何人 都 可 以 看 到 围绕 bug 进 行 的 活动 ， 甚 至 是 新 闻 界 。 安 全 bug 有 时 会 被 
隐藏 起 来 一 直到 被 修复 ， 以 免 泄 密 给 黑客 ， 除 此 之 外 的 bug 完全 公开 。 
外 部 用 户 也 可 以 自由 提交 bug， 他 们 是 非常 有 价值 的 bug 来 源 。 图 3.22 和 
图 3.23 演 示 了 如 何 搜索 和 发 现 一 个 与 About 对 话 框 里 的 Chrome 图 标 有 关 
的 bug。 
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A 图 3.21 bug 修 复 趋势 
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IDv Starsv Priv Areav Feature v Type v Status v Summary * Labels v Modified v Owner v 


77354 T Ul Browser, Regression Assigned REGRESSION: NEW logo reverted backto — Mar25 — 
AboutBox old logo in 12.0.712.0 dev 


77388 31 Ul CloudPrint Bug Assigned Mac Valgrind bot reports multiple uninitialized May 24 dmacl...@ct 
accesses in unit_tests (including reads, jumps 
and syscalls) 


Regression Assigned REGRESSION: Windows painting issue while Jun 24 ben@chron 
switching Chrome window with overlapped 
app 


Bug Unconfirmed When using shift-drag to move around a large Jun 2 wjmacl...@c 
SVG image the vertical scrolling is reversed 
MovedFrom13 


Ul Assigned Chrome DMG icon needs to be updated Jun 2 sail@chrom 


WebKit DevTools Assigned Cannot interact with images in the inspector May 19 pfeld...@chi 
(Developer Tools) 


Intemals NewTabPage, Assigned NTP apps promo logo should support https Jun 27 jstri...@chro 
Apps URLs 


WebKit — Available Should respect monitor DPI settings Win7 Mar 23 
candidate bukmove 


Available Color profile is unloaded Jul 2009 
ExtemalDependency Incorrect rendering of FF12Maps.com Apr 15 
Available Button on New York Times is not rendered Sep 2009 





A 图 3.22 Issue Tracker 搜 索 


然而 ，Buganizer 仍然 是 Google 最 长 寿 的 和 最 广泛 使 用 的 测试 设 
施 ， 值 得 我 们 做 更 多 的 讨论 。 惑 其 主要 功能 而 言 ， 它 是 一 个 典型 的 bug 
数据 库 ， 并 能 文 持 问题 跟踪 的 核心 质量 周期 ， 从 发 现 到 解决 ， 以 及 创建 
回归 测试 用 例 。Buganizer 同样 建立 在 Google 最 新 的 核心 存储 技术 之 
上 ， 具 有 良好 的 可 扩展 性 和 速度 。 
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Issue 77354: REGRESSION: NEW logo reverted back to old logo in 12.0.712.0 dev 


71 people starred this issue and may be notified of changes. 
Status: Assigned Reported by Mattj...(Q gmail.com, Mar 24, 2011 


Chrome Version : 12.0.712.0 (Official Build 79102) dev 
il mium.org, 
fin...(chromium.org, 
thomasvi@chromium.org, What is the expected result? 


$ Keep the same new awesome Google Chrome logo from previous dev version 
icive...@chromium.org, What happens instead? 
viettrun...@chromium,org 
New logo was changed to the old logo. 


Type-Regression 
Pri-1 


Area-Ul 
Feature-Browser I LOVED the new logo! =( 
Feature-AboutBox ^ ^ 
OS-All Comment 1 by project member d...@chromium.org, Mar 24, 2011 
Restrict-Addissu...t-Commit (No comment was entered for this change.) 
Summary: REGESSION: NEW logo reverted back to old logo in 12.0.712.0 dev 
Status: Untriaged 
Labels: -Type-Bug -Pri-2 -Area-Undefined Type-Regression Pri-1 Area-UI Feature-Browser Feature-AboutBox 


Comment 2 by project member d...(Qchromium.org, Mar 24, 2011 


(No comment was entered for this change.) 





A 图 3.23 在 Issue Tracker" 1] 7f Chromium ]bug 


下 面 列 出 了 bug 的 各 种 字段 ， 只 有 很 少 几 个 是 必 填 的 。 我 们 故意 不 
明确 这 些 字段 的 定义 ， 以 便 每 个 团队 能 自主 决定 其 使 用 方式 ， 以 适合 自 
己 的 工作 流程 。 

Assigned to (Assignee， 被 指派 者 ) 

[可 选 ] 负责 采取 下 一 步 动 作 的 人 的 LDAP 名 ， 问 题 创建 及 发 生 任 意 
修改 时 ， 会 自动 触发 邮件 通知 给 此 人 。Buganizer 管 理 员 为 每 一 个 组 件 指 
定 一 个 缺 省 的 assignee。 

CC (HIE) 

[可 选 ] 当 一 个 问题 被 创建 或 修改 时 ， 需 要 发 邮件 通知 的 一 个 或 多 个 
人 的 LDAP 名 字 。 名 字 只 能 用 LDAP 或 邮件 列表 名 ， 不 得 出 现 @google， 
从 而 只 有 Google 邮 件 列表 或 Google 员 工 是 有 效 的 输入 。 名 字 用 有 逗号 分 
割 。 不 用 包括 “Assigned to" 中 的 名 字 ， 因 为 这 是 在 报告 一 个 bug 时 缺 省 会 
被 通知 到 的 人 。 











Attachments 〈 附 件 ) 

[可 选 ] 一 个 或 多 个 附件 。 接 受 所 有 文件 类 型 ， 没 有 数量 限制 ， 但 每 
个 附件 不 得 超过 100MB。 

Blocking (阻塞 ) 

[可 选 ] 该 bug 修 复 之 后 才能 被 修复 的 其 他 bug 的 IDs， 以 逗号 分 隔 。 
更 新 此 列表 会 导致 所 列 bug 的 Depends On 字段 被 自动 更 新 。 

Depends On 〈 依 赖 ) 

[可 选 ] ”该 bug 依 赖 的 其 他 bug 的 IDs， 在 其 他 bug 被 修复 之 前 ， 该 bug 
无 法 修复 。 更 新 此 列表 会 导致 所 列 bug 的 Blocking 字 段 被 自动 更 新 。 

Changed (变化 ) 

[只 读 ] 该 问题 的 最 后 修改 日 期 和 时 间 。 

Changelists 〈 变 更 列表 ) 

[可 选 ] 处 理 该 问题 的 一 个 或 多 个 变更 列表 CCL) 编号 。 只 列 出 已 经 
被 提交 的 CLs， 不 要 指定 尚未 提交 的 CLs。 

Component 〈 组 件 ) 

[ 必 选 ] 有 此 bug 或 者 需求 的 实体 。 在 创建 问题 时 ， 这 应 当 是 指向 组 
件 的 完整 路 径 ， 不 限 长 度 。 但 是 ， 你 不 一 定 要 给 出 叶子 组 件 〈 没 有 子 节 
FLY 2 

只 有 项 目 和 工程 经 理 才 能 增加 组 件 。 

Created (创建 于 ) 

[只 读 ] 该 bug 的 创建 日 期 。 

Found In (AEF) 

[可 选 ] 输入 你 发 现 此 问题 时 的 软件 版 本 号 ， 例 如 1.1。 

Last modified (最 后 修改 ) 

[只 读 ] 该 问题 的 任 一 字段 被 修改 的 最 后 日 期 。 

Notes (备注 ) 

[可 选 ] 问题 本 吴 及 其 处 理 过 程 中 的 注解 的 详细 摘 述 。 在 创建 时 ， 摘 











述 一 个 bug 的 复 现 步 又 ， 或 者 到 达 一 个 需求 的 相关 屏 疾 的 步骤 。 你 在 这 
里 输入 的 信息 越 多 ， 将 来 的 问题 处 理 者 需要 联系 你 的 可 能 性 就 越 小 。 已 
经 提交 的 备注 项 不 能 再 编辑 ， 即 使 是 你 自己 创建 的 也 一 样 ， 只 能 在 此 字 
段 中 增加 新 的 备注 项 。 

Priority REK) 

[JH] 一 个 bug 的 重要 程度 ，P0 最 高 。 这 代表 了 和 希望 多 快 被 修复 以 
及 投入 多 少 资源 去 人 修复。 例如， 在 搜索 页 的 图 标 中 的 “Google” 的 错误 拼 
写 的 严重 程度 (severity) 比较 低 (页 面 功 能 不 受 影响 ) ， 但 是 优先 级 
(priority) 高 〈 这 将 是 一 件 非 常 糟糕 的 事情 ) 。 填 写 这 两 个 字段 能 帮助 
修复 团队 更 合理 的 安排 时 间 。 另 见 Severity 描 述 。 

Reported b(Reporter， 报 告 者 ) 

[Rix] bug 的 最 初 报告 者 的 Google 账 号 。 默 认 值 是 创建 该 bug 的 人 ， 
但 也 可 以 改 成 实际 的 报告 者 。 

Resolution (解决 方 案 ) 

[可 选 ] 验证 者 选择 的 最 终 解决 方案 。 合 法 值 包括 : Not feasible CA^ 
可 行 ) 、Works as intended (设计 如 此 ) ~ Not repeatable 〈 无 法 重 
现 ) . Obsolete CF) . Duplicate (重复 ) 和 Fixed (已 修 复 ) 。 

Severity (j^ xà TE) 

[DH] 该 bug 在 多 大 程度 上 影响 产品 的 正常 使 用 ，S0 是 最 高 级 别 。 
填写 优先 级 和 严重 性 有 助 于 bug 修 复 者 确定 该 bug 的 重要 性 。 例 如 ， 在 搜 
索 页 的 图 标 中 的 “Google” 的 错误 拼写 的 严重 程度 (severity) KEUR OR 
面 功能 不 受 影响 ) ， 但 是 优先 级 (priority) 高 〈 这 将 是 一 件 非 常 糟糕 的 
事情 ) 。 填 写 这 两 个 字段 能 帮助 修复 团队 更 合理 的 安排 时 间 。 严 重 性 的 
级 别 如 下 : 

一 一 S0 = 系统 不 可 用 

一 一 S1= 高 


——S$2-p 














一 一 S3= 低 
一 一 SA = 对 系统 无 影响 
Status (状态 ) 
[^38] bug 的 当前 状态 。 关 于 这 些 值 是 如 何 被 设置 的 ， 参 见 问题 的 
生命 周期 〈 见 
图 3.24) 。 可 用 的 状态 包括 : 
New (ira) : 问题 刚 给 创建 ， 尚 未 指派 。 
Assigned 〈 已 指派 ) : 问题 已 被 指派 给 某 人 。 
Accepted (OIZ) : 某 人 接受 了 指派 。 
Fix later 〈 以 后 修复 ) : 指派 给 的 人 决定 推迟 到 将 来 解决 该 问 














题 。 

—— Will not fix MER) : 出 于 某 种 原因 ， 指 派 给 的 人 决定 不 去 
修复 该 问题 。 
Fixed 〈 已 修复 ) : 问题 已 经 被 修复 ， 但 结果 尚未 验证 。 

一 一 Verifier assigned 〈 验 证 者 已 确定 ) : 问题 已 经 被 指派 给 某 人 
去 做 验证 。 
Verified (已 验证 ) : 修复 已 经 被 验证 。 

Summary (jij) 

[DH] 该 bug 的 摘 述 性 摘要 。 尽 量 做 到 准确 概括 。 这 将 会 帮助 用 户 
在 深 动 搜索 结果 的 列表 页 面 时 决定 是 否 进去 查看 一 个 问题 。 

Targeted To (Hix) 

[可 选 ] 用 于 输入 该 bug 应 该 被 修复 的 软件 版 本 写 ， 例 如 1.2。 

Type (类型) 

DHAJ 问题 的 类 型 : 

— Bug (HRM) : 导致 程序 无 法 按 预期 工作 的 东西 。 
Feature request (需求 ): 你 希望 加 入 程序 的 东西 。 
— Customer issue (Z HJ) : 一 个 培训 问题 或 者 一 般 性 讨 














—— Internal cleanup 〈 内 部 清理 ) : 需要 维护 的 东西 。 
Process 流程》: 通过 API 上 自动 跟踪 的 东西 。 

Verified In (验证 于 ) 

[可 选 ] 用 于 输入 问题 修复 被 验证 的 软件 版 本 号， 例如 1.2。 

Verifier (验证 者 ) 

[问题 被 解决 之 前 必 填 ] 每 个 问题 都 会 被 指派 给 某 个 有 权 将 问题 标识 
为 已 解决 的 人 。 直 到 问题 准备 被 解决 之 前 ， 此 人 无 需 被 指定 ， 但 只 有 验 
证 者 有 权 将 状态 改 为 “Verified 〈 已 验证 ， 问 题 被 关闭 ) ”。 验 证 者 与 被 
指派 者 (assignee) 可 以 是 同一 个 人 。 

图 3.24 总 结 了 一 个 问题 的 生命 周期 。 
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A 图 3.24 Buganizer 里 bug 的 基本 工作 流 

Google 的 bug 管 理 与 其 他 公司 有 几 个 关键 的 不 同 之 处 。 

bug 数 据 库 是 完全 开放 的 ， 任 意 一 名 Googler 都 能 看 到 任 一 项 目的 任 


一 bug。 

所 有 人 都 提交 bug， 包 括 工程 总 监 和 高 级 副 总 裁 〈《SVP) 。 即 使 不 
属于 一 个 产品 团队 ，Googler 也 可 以 提交 该 产品 的 bug。 成 群 的 测试 人 员 
经 常会 扑 在 一 个 产品 上 ， 只 是 为 了 尽 己 所 能 地 提供 帮助 。 

不 存在 正式 的 上 自 顶 向 下 的 确定 bug 优 先 级 的 流程 〈 注 : Triage 是 评审 
bug、 决 定 修复 顺序 和 负责 人 的 流程 ， 与 急诊 室 里 的 伤员 鉴别 归 类 非常 
类 似 ) 。 如 何 确定 优先 级 ， 在 不 同 团队 的 做 法 是 非常 不 同 的 。 有 时 ， 这 
是 一 个 人 的 事情 ， 或 者 一 个 TE 和 一 个 SWE 在 茶 人 的 办 公 桌 边 一 块 完 
成 。 有 时 ， 这 在 周 会 或 者 每 日 立会 上 完成 。 团 队 目 己 决 定 谁 应 当 出 席 ， 
怎么 样 做 最 好 。 不 存在 正式 的 方法 或 者 仪表 板 或 者 老板 们 频繁 的 出 现在 
团队 中 进行 讨论 。Google 把 此 事 留 给 各 个 团队 自主 决定 。 

Google 的 项 目 通常 处 于 两 种 状态 中 的 一 种 : 新 的 、 处 于 快速 开发 中 
的 项 目 和 已 经 成 型 的 、 增 量 式 发 布 中 的 项 目 。 前 者 总 是 不 断 地 有 问题 出 
现 ， 后 者 则 有 大 量 的 单元 测试 和 容错 性 测试 做 保证 ， 从 而 bug 数 量 较 
少 ， 也 相对 容易 管理 。 

与 许多 其 他 公司 一 样 ， 统 一 的 dashboard 是 Googler 的 一 个 蒙 绕 不 去 
的 梦想 。 大 概 每 年 都 会 有 人 和 洋 试 去 实现 一 个 可 用 于 Google 所 有 项 目的 、 
集中 式 的 bug 或 项 目 dashboard。 这 是 有 意义 的 ， 哪 怕 是 只 局 限于 
Buganizer 数 据 。 然 而 ， 由 于 每 个 团队 对 项 目 交 付 和 日 常 健康 状况 的 各 种 
指标 的 重要 性 有 不 同 的 看 法 ， 这 些 努 力 都 中 途 天 折 了 。 也 许 这 个 想法 在 
那些 更 标准 化 的 公司 是 可 行 的 ， 但 在 Google， 那 些 出 于 善意 的 人 们 经 党 
因为 Google 项 目 和 工程 的 多 样 性 而 折 琴 沉 沙 、 倍 感 挫败 。 

一 个 全 公司 范围 的 提交 bug ”的 方法 是 由 Google Feedback 
team Chttp://www.google.com/tools/feedback/intl/en/index.html, Brad 
Green 是 Google ”Feedback 的 工程 经 理 ， 第 4 章 有 对 他 的 一 次 访谈 ) 启动 
的 。 终 端 用 户 能 够 使 用 Google Feedback 提交 针对 某 个 产品 的 pug。 思 路 
是 这 样 的 : 外 部 用 户 不 必 知 道 哪 些 bug 已 经 被 记录 或 是 已 经 被 修复 了 ， 





















































我 们 希望 更 快 更 方便 地 从 用 户 那 里 得 到 反馈 。 因 此 ，Google 的 测试 人 员 
和 软件 工程 师 们 设计 出 了 这 种 point-and-click 式 的 、 非 党 简单 的 用 户 提 交 
bug 的 方法 。 这 个 团队 的 工程 师 们 尽 其 全 力 确保 用 户 在 提交 bug 给 Google 
时 ， 可 以 很 直观 地 把 页 面 上 可 能 包含 隐私 数据 的 部 分 去 掉 ， 如 图 3.25 所 
ass 
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A [3.25 Google Feedback 及 其 隐私 过 滤 


Google Feedback 团 队 实 现 了 非常 强大 的 功能 ， 用 以 避免 把 这 些 用 户 
报告 的 bug 一 股 脑 地 倾注 到 我 们 的 bug 数 据 库 里 ， 因 为 重复 报告 会 把 bug 
分 类 过 程 (bug triage process) 拖 垮 。 他 们 使 用 了 聚 类 算法 来 自动 识别 
重复 记录 并 确定 最 频繁 的 问题 。Google Feedback 有 一 个 dashboard 用 于 
显示 经 过 处 理 的 数据 ， 帮 助 产品 团队 进行 分 析 。 新 应 用 上 线 之 后 ， 成 干 
上 万 的 问题 泣 涌 而 来 并 不 罕见 一 一 需要 精简 到 10 个 左右 的 主要 的 、 共 性 
的 问题 。 这 将 节省 大 量 的 时 间 ， 从 而 使 得 Google 无 需 处 理 每 一 条 反馈 即 





可 真正 听 到 终端 用 户 的 声音 。 我 们 正在 对 少量 的 Google 功 能 进行 beta 测 
试 ， 和 希望 将 来 能 推广 到 所 有 的 功能 特性 上 。 

2.bug 的 一 生 《〈 作 者 : James Whittaker) 

bug 像 是 一 个 被 过 分 宠爱 的 小 孩子 ， 得 到 了 特别 多 的 关注 。 它 们 在 
开发 者 的 IDE 里 悄然 无 声 的 诞生 ， 但 在 现 映 之 刻 却 引 来 一 片 喧 曾 。 

对 于 测试 人 员 发 现 的 bug， 它 们 的 生命 是 这 样 的 : 测试 人 员 发 现 
bug， 花 些 时 间 细 细 品 味 。 这 一 点 很 重要 ， 不 仅仅 是 因为 我 们 有 权利 享 
受 自己 劳动 的 果实 ， 而 且 ， 这 对 于 理解 此 bug 微妙 的 细小 差别 及 其 出 现 
的 条 件 也 是 很 重要 的 。 它 是 否 在 用 户 可 达 之 路 上 ?这些 路 径 被 走 到 的 可 
能 性 有 多 大 ? 除了 发 现 bug 的 这 条 路 径 ， 是 人 否 还 有 更 多 的 路 径 也 会 导致 
相同 的 问题 ?是 否 存 在 可 能 影响 数据 或 者 其 他 应 用 (这 将 增加 其 严重 
性 的 副作用 ?是否 存 在 隐私 、 安 人 全、 性能， 或 者 可 访问 性 方面 的 影 
啊 ? 当 父 母 听 到 小 孩子 的 一 声 轻 轻 的 咳嗽 时 ， 第 会 想象 最 坏 的 衰竭 性 疾 
病 ， 他 们 一 定 非常 理解 软件 工程 师 对 于 软件 bug 的 感受 。 

就 像 父 母 会 打 电 话 给 朋友 或 亲戚 ， 讨 论 小 孩子 咳嗽 一 样 ， 测 试 人 员 
也 应 该 找 同 伴 来 分 享 他 的 发 现 。 邀 请 一 个 同事 来 观看 演示 ， 问 问 她 的 想 
法 ， 讨 论 你 的 理解 ，bug 的 严重 程度 、 优 先 级 和 副作用 等 。 这 些 讨论 使 
问题 更 为 清晰 。 父 母 经 党 可 以 免 去 到 急诊 室 的 行程 ， 而 测试 人 员 经 常 发 
现 他 曾 认 为 是 P0 的 问题 实际 上 也 无 关 紧 要 ， 从 而 避免 出 现 “ 狠 来 了 ”这 样 
EIS) [ri] Jil o 

现在 是 提交 bug 报 告 的 时 候 了 。 就 像 父母 需要 温度 计 一 样 ， 测 试 人 
员 也 需要 一 些 工 具 。 父 母 希 望 孩子 的 病情 更 容易 得 到 诊断 ， 妈 妈 希 望 说 
服 医生 孩子 的 病 非 常 的 严重 ， 而 测试 人 员 也 希望 增加 严重 程度 ， 但 更 加 
重要 的 是 ， 测 试 人 员 和 希望 bug 更 容易 能 被 修复 。 和 截屏 、 按 键 记 录 、stack 
traces. DOM dumps 等 都 是 记录 bug 的 方法 。 开 发 得 到 的 信息 越 多 ， 修 复 
起 来 就 越 不 可 怕 ，bug 被 修复 的 可 能 性 也 就 越 大 。 

bug 报告 会 触发 一 封 邮件 ， 发 送 到 所 有 相关 人 员 的 邮箱 里 。 修 复 会 



































产生 一 个 变更 列表 (CL), CL 排队 去 接受 评审 ， 一 旦 得 到 批准 ， 就 进 
入 构建 目标 队列 中 。 这 相当 于 治疗 bug 的 药物 ， 就 像 父 母 观察 孩子 对 抗 
生 素 的 反应 一 样 ， 测 试 人 员 也 会 收 到 新 的 测试 构建 已 经 就 绪 的 邮件 提 
醒 。 他 接 下 来 就 会 安装 这 个 构建 版 本 ， 然 后 重新 执行 发 现 bug 的 测试 用 
例 。 

现在 ， 这 个 测试 用 例会 成 为 该 应 用 的 回归 测试 集 的 一 部 分 。 尺 可 能 
把 它 自动 化 ， 以 防止 bug 重复 出 现 。 至 少 应 该 编写 手工 测试 用 例 ， 并 提 
交 到 测试 用 例 管 理 (Test Case Management) 系统 中 去 。 这 样 ， 系 统 就 
对 未 来 的 感染 具有 了 免疫 力 ， 就 像 小 孩子 建立 了 对 曾 导 致 他 生病 的 细 戎 
的 免疫 力 一 样 。 








3.2.5 TE 的 招聘 


Google 的 工程 师 招聘 是 件 大 事 。 我 们 的 工程 师 通 常 都 是 拥有 计算 机 
科学 或 相关 学 位 的 正规 大 学 毕业 生 。 然 而 ， 很 少 有 学 校 系 统 地 教授 软件 
测试 课程 。 这 给 公司 招聘 优秀 的 测试 人 员 带 来 了 挑战 ， 难 以 找到 融合 编 
程 和 测试 两 种 技能 的 合适 的 人 才 。 

TE 的 招聘 尤其 困难 ， 因 为 最 好 的 TE 不 是 那些 基础 算法 、 定 理 证 
明 、 功 能 实现 上 的 牛人 。 一 直 以 来 ， 我 们 形成 了 面 同 SWE 或 SET 的 招聘 
和 面试 流程 ， 而 Google 的 TE 招聘 则 打破 了 这 一 模型 。 坦 白地 讲 ， 我 们 也 
犯 过 错 。 事 实 上 ， 在 早期 为 改善 TE 面试 流程 而 进行 的 努力 折腾 过 很 多 
测试 人 员 ， 我 们 应 该 对 他 们 表示 歉意 。TE 是 稀缺 个 体 ， 是 技术 人 ， 关 
注 用 户 ， 能 在 系统 级 别 和 端 到 端的 视角 上 理解 产品 。 他 们 是 无 情 的 、 伟 
大 的 谈判 专家 ， 最 重要 的 是 ， 他 们 富有 创造 性 、 善 于 应 对 模糊 性 。 这 就 
是 为 什么 Google 或 者 任何 一 家 公司 要 努力 去 招聘 这 种 人 才 的 原因 。 

测试 的 重要 一 面 是 做 确认 Cvalidation) ， 这 一 点 常常 被 遗 筷 。 一 个 
应 用 是 否 达 到 用 户 预 期 ? 大 量 的 测试 工作 是 计划 执行 和 完成 确认 。 使 程 











序 骨 温 并 不 总 是 我 们 的 目标 。 以 极端 的 输入 数据 来 测试 软件 并 使 之 出 
错 ， 这 很 有 意思 ， 但 更 有 意思 的 是 用 不 那么 极端 的 输入 ， 一 过 又 一 过 的 
测试 用 以 模拟 真实 的 使 用 场景 ， 确 保 在 这 些 通用 条 件 下 ， 软 件 的 运行 不 
会 出 错 。 在 面试 时 我 们 会 寻找 这 种 正面 的 测试 观 。 

多 年 以 来 ， 我 们 尝试 了 儿 种 不 同 的 面试 风格 。 

按照 SET 的 要 求 来 面试 : 如 果 面 试 候选 人 足够 聪明 并 具有 创造 
性 ， 但 编程 能 力 不 达 标 ， 我 们 会 考虑 给 他 TE 的 岗位 。 这 也 导致 了 很 多 
问题 ， 例 如 测试 团队 中 形成 了 一 种 虚拟 层级 等 ， 最 糟糕 的 是 ， 这 种 错误 
的 筛选 方式 导致 很 多 具有 用 户 中 心思 维 的 人 才 被 淘汰 ， 例 如 可 用 性 和 端 
到 端 方面 的 测试 高 手 。 

降低 编程 能 力 要 求 : 如 果 我 们 只 有 盯 着 以 用 户 为 中 心 的 测试 和 功能 性 
的 测试 ， 那 么 候选 人 的 规模 就 会 总 剧 地 增 大 。 一 个 不 会 写 代码 来 解决 
Sudoku 题 目 或 者 优化 快 排 算 法 的 候选 人 ， 也 许 会 具备 合格 的 测试 技能 。 
这 可 能 会 帮助 我 们 招 到 更 多 的 TE， 但 在 他 们 加 入 公司 之 后 却 面 临 极 大 
的 挑战 。 传 统 测试 员 的 职业 有 发展， 与 Google 工 程 师 群 体 的 编程 文化 和 以 
计算 机 科学 为 中 心 的 技能 是 不 一 致 的 。 

混合 模型 : 今天 ， 我 们 的 面试 既 要 考察 一 般 的 计算 机 科学 和 技术 技 
能 ， 也 要 考察 候选 人 的 测试 潜力 。 编 程 知 识 是 必需 的 ， 但 只 限于 那些 完 
成 前 述 TE 工作 需要 的 水 平 : 修改 而 非 创建 代码 、 设 计 端 到 端的 用 户 使 
用 场景 的 能 力 等 。 再 加 上 TE 工作 本 身 需 要 的 一 些 特定 的 能 力 ， 如 沟 
通 、 系 统 级 别 的 理解 以 及 用 户 同 理 心 ， 这 样 一 来 既 可 以 满足 我 们 的 招聘 
条 件 ， 在 加 入 公司 后 也 能 得 到 发 展 和 普 升 。 

TE 的 招聘 比较 困难 ， 这 是 因为 他 们 需要 擅长 很 多 事情 ， 任 何 一 个 
表现 不 好 的 地 方 都 可 能 导致 面试 失败 。 他 们 是 万 能 博士 ， 其 中 最 强 的 人 
经 常 被 认为 是 最 终 决定 者 ， 决 定 一 个 产品 或 其 新 版 本 是 否 可 以 友 布 。 如 
果 不 认 真 考察 这 些 人 的 旭 质 ， 未 来 一 定 会 遇 到 大 麻烦 。 

通过 这 种 筛选 的 TE 能 够 适应 几乎 所 有 的 产品 和 角色 ， 从 构建 工 



































有 具 、 接 洽 客 户 、 到 路 团队 和 依赖 的 协调 等 ，TE 经 常 能 担当 领导 角色 ， 
因为 和 SET 相 比 ， 他 们 站 的 更 高 、 看 的 更 远 ， 能 够 理解 各 种 设计 问题 
和 风险 。 

随 着 产品 的 日 益 复 杂 化 ， 拥 有 比 google.com 更 多 的 用 户 界面 ， 
Google 已 经 建立 起 了 TE 的 层级 结构 。 现 在 ， 我 们 的 产品 影响 着 大 量 的 
用 户 ， 在 他 们 的 生活 中 发 挥 着 更 加 重要 的 作用 ， 因 此 ，TE 这 个 角色 在 
Google tk F ETEK. 








SET 和 TE 的 区 别 〈 作 者 : Jason Arbon) 








SET 和 TE 两 个 角色 相互 关联 ， 但 从 根本 上 来 讲 却 又 是 不 同 的 。 两 
种 工作 我 都 曾经 做 过 ， 也 做 过 他 们 的 管理 者 。 检 查 下 面 这 个 列表 ， 看 看 
哪个 描述 更 适合 你 一 一 也 许 对 你 来 说 是 时 候 转 换 角 色 了 。 

你 可 能 是 一 个 SET， 如 采 : 

你 能 根据 一 个 规格 文档 ， 借 助 一 块 儿 白 板 ， 编 码 完 成 一 个 可 靠 而 有 
效 的 解决 方案 。 

你 编程 的 同时 ， 会 内 次 地 想到 还 有 很 多 单元 测试 用 例 没有 完成 。 随 
后 ， 你 又 会 考虑 各 种 生成 测试 代码 和 验证 的 方法 ， 而 不 是 手工 编写 每 个 
单元 测试 用 例 。 

你 认为 终 站 用 户 就 是 发 起 API 调 用 的 人 。 

你 会 在 看 到 一 份 写 的 很 位 的 API 文 档 时 ， 难 以 抑制 愤怒 之 情 ， 但 有 
时 却 会 态 记 API 本 喘 的 意义 所 在 。 

你 发 现 自己 会 同 大 家 比赛 进行 代码 优化 ， 或 是 寻找 竞争 条 件 (ace 
conditions) 。 

你 偏好 通过 IRC 或 者 代码 提交 中 的 注释 跟 他 人 沟通 。 

你 偏好 使 用 命令 行 而 不 是 图 形 用 户 界 面 ， 很 少 页 女 标 。 

你 梦想 着 自己 的 代码 在 成 二 上 万 台 机 器 上 运行 ， 考 验 和 测试 各 种 算 





























法 一 一 通过 大 量 的 CPU 周期 和 网 络 报 文 来 证 明 它 们 的 正确 性 。 

你 从 未 注意 到 或 者 修改 过 桌面 背景 。 

看 到 编译 器 警告 时 会 焦虑 不 安 。 

当 被 要 求 测 试 一 个 产品 时 ， 你 会 打开 源码 ， 开 始 思 考 需 要 模拟 的 东 
西 





你 心目 中 的 领导 力 是 : 建立 一 个 伟大 的 底层 单元 测试 框架 ， 供 所 有 

人 来 使 用 ， 或 者 在 测试 服务 器 上 每 天 数 百 万 次 的 运行 。 

当 被 问 及 产品 是 否 可 以 上 线 时 ， 你 可 能 会 说 :“ 所 有 的 测试 都 通过 
ee 
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你 能 够 在 已 有 的 代码 中 寻找 错误 ， 迅 速 理解 可 能 的 软件 失效 模式 ， 
但 是 并 不 关心 从 头 编写 这 段 代 人 码 或 者 做 修改 。 

你 更 愿意 到 Slashdot 或 News.com 去 阅读 其 他 人 的 代码 。 

你 会 阅读 一 份 未 完成 的 产品 规格 说 明 书 ， 添 加 剩余 的 部 分 ， 完 成 这 
份 文档 。 

你 梦想 所 参与 的 产品 给 人 们 的 生活 带 来 巨大 的 影响 ， 人 们 认可 这 个 
产品 的 价值 。 

你 惊 骇 于 茶 个 网 站 的 用 户 界面 ， 怀 疑 它 怎 么 可 能 会 有 用 户 。 

你 为 数据 的 可 视 化 感到 兴奋 不 已 。 

你 发 现 自己 很 乐意 在 现实 世界 里 跟 人 交流 。 

你 不 理解 为 什么 在 某 个 文本 编辑 器 里 ， 必 须 得 先 输入 “i” 才 能 开始 输 
ASA « 

你 心目 中 的 领导 力 是 : 扶助 其 他 工程 师 的 创意 ， 用 更 高 数量 级 规模 
的 应 用 场景 来 挑战 他 们 的 创意 。 

当 被 询问 产品 是 否 可 以 上 线 时 ， 你 可 能 会 说 :“ 我 觉得 可 以 了 ”。 

测试 人 员 理 解 和 认同 自己 的 定位 ， 这 一 点 非常 重要 。TE 经 常 被 看 
做 是 不 怎么 写 代 码 的 SET。 事 实 是 ， 他 们 能 看 到 那些 整 天 埋 涉 于 代码 的 
































人 绝 不 会 看 到 的 东西 。SET 也 应 该 意识 到 他 们 不 是 TE， 不 必 为 不 能 发 现 
用 户 界 面 问题 、 不 能 从 系统 整体 或 竞争 者 产品 的 角度 思考 问题 而 感到 内 
次 或 压力 ;SET 应 当 专 注 于 高 质量 的 、 可 测试 的 、 可 复 用 的 模块 ， 以 及 
令 人 惊叹 的 自动 化 。 

一 个 令 人 赞叹 的 产品 背后 ， 总 有 一 个 构成 多 样 性 的 测试 团队 。 

面试 TE 

当 我 们 发 现 候 选 人 具备 合适 的 综合 型 技能 时 ， 束 会 邀请 他 们 来 参加 
面试 。 我 们 经 常会 被 问 到 如 何 面试 一 个 TE。 实 际 上 ， 这 个 问题 也 是 我 
们 在 博客 中 和 公开 演讲 时 ， 收 到 的 最 普 志 的 一 个 问题 。 我 们 不 能 公开 全 
部 问题 ， 但 是 愿意 在 这 里 分 享 其 中 的 一 部 分 (这 些 以 后 就 不 再 使 用 
了 ) ， 以 便 你 能 理解 我 们 的 思路 。 

一 开始 ， 我 们 考察 测试 资质 。 我 们 的 意图 在 于 ， 弄 清楚 候选 人 是 否 
不 只 是 聪明 和 具有 创造 性 ， 是 否 具 有 天 生 的 测试 才能 。 我 们 寻找 的 是 对 
于 事物 结构 、 对 于 变量 和 配置 的 组 合 的 各 种 可 能 性 和 意义 的 好 奇 心 。 我 
们 寻找 的 是 关于 事物 应 该 如 何 工作 的 强烈 感觉 ， 以 及 清晰 表达 的 能 
我 们 还 会 试图 寻找 很 强 的 人 格 魅 力 。 

这 里 的 要 点 是 ， 给 出 一 个 需要 各 种 输入 和 环境 条 件 的 测试 问题 ， 请 
候选 人 列举 出 最 有 意义 的 可 能 。 在 初级 题目 里 ， 我 们 可 能 会 请 候选 人 测 
试 一 个 Web 页 面 〈 见 图 3.26) ， 上 面 有 一 个 文本 输入 框 ， 一 个 计数 
(count) 按钮 ， 用 于 计算 一 个 文本 字符 串 中 大 写字 母 A 出 现 的 个 数 。 这 
里 的 问题 是 ， 请 设计 出 一 系列 字符 串 用 以 测试 这 个 Web 页 面 。 
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A 图 3.26 测试 问题 的 示例 UI 

一 些 候选 人 一 头 扎 进去 开始 就 立刻 开始 罗列 测试 用 例 ， 这 往往 是 一 
个 危险 的 信号 ， 说 明 他 们 还 没有 充分 思考 这 个 问题 。 根 据 我 们 的 经 验 ， 
追求 数量 而 非 质 量 的 倾 和 加， 是 一 种 低 效 的 工作 方式 ， 因 此 会 给 负面 评 
价 。 通 过 观察 候选 人 在 找到 管 案 之 前 思考 和 解决 问题 的 方式 ， 能 了 解 他 
们 很 多 东西 。 

更 好 的 是 那些 会 提出 一 些 问题 ， 来 做 进一步 澄清 的 候选 人 : 大 写 还 
是 小 写 ? 只 是 英语 吗 ? 计算 完成 后 文本 会 被 清除 吗 ? 多 次 按 下 按钮 会 及 
生 什么 事情 ? 诸如 此 类 。 

在 问题 被 澄清 之 后 ， 候 选 人 开始 列举 测试 用 例 。 重 点 观察 他 们 是 否 
使 用 一 些 疡 狂 的 做 法 。 他 们 只 是 在 试图 破坏 软件 ， 还 是 同时 在 验证 它 能 
正常 工作 ? 他 们 知道 这 两 者 的 区 别 吗 ? 他 们 是 否 能 从 最 显而易见 的 简单 
的 输入 开始 ， 尽 快 地 发 现 大 bug? 他 们 能 清晰 地 列 出 测试 计划 或 数据 
"3? 在 白板 上 随机 摆 放 字符 串 不 能 反映 出 思路 的 清晰 性 ， 他 们 很 可 能 坚 
无 测试 计划 ， 或 者 只 有 很 粗糙 很 随意 的 测试 计划 。 一 个 典型 的 列表 如 




















Fe 

“banana”: 3 (— GEBOTE) s 

“A” 和 “a”: 1《〔〈 一 个 简单 的 有 正常 结果 的 合法 输入 ) 。 

e. 0〈 一 个 简单 的 结果 为 0 的 合法 输入 ) 。 

Null: 0《〈 人 简单 的 错误 输入 ) o 

“AA” Alaa”: 2〈 个 数 >1 并 且 所 有 字母 都 是 A 的 输入 ) 。 

“b”: 0 一 个 简单 的 非 空 合法 输入 ， 结 果 是 0) 。 

"aba": 2 目标 字符 出 现在 开头 和 结尾 ， 以 寻找 循环 边界 错误 )。 

“bab”: 1 (目标 字符 出 现在 中 间 》。 

space/tabs 等 : N( 空 日 字符 与 N 个 A 的 混合 ) 。 

不 包含 A 的 长 字符 串 : N， 其 中 N>0。 

包含 A 的 长 字符 串 : N， 其 中 N 是 A 出 现 的 个 数 。 

X\nX 字 符 串 : N， 其 中 N 是 A 出 现 的 个 数 ( 格 式 化 字符 〉。 

{java/C/HTML/JavaScript}: N， 其 中 N 是 A 出 现 的 个 数 ( 可 执行 字 
符 ， 或 错误 ， 或 偶然 的 代码 解释 ) 。 

无 论 丢 失 上 述 测试 中 的 哪 几 个 都 是 一 个 不 好 的 征兆 。 

更 好 的 候选 人 会 超越 输入 选择 ， 讨 论 更 加 高 级 的 测试 问题 。 他 们 可 
能 会 做 以 下 的 事情 。 

质疑 界面 的 外 观 、 调 色 板 和 对 比 度 。 如 “这 些 与 相关 应 用 风格 一 致 
吗 ?”，“ 视 力 困难 的 人 能 使 用 吗 ? ”等 。 

担心 文本 框 太 小 了 ， 建 议 加 长 以 便 显 示 更 长 的 输入 字符 串 。 

考虑 这 个 应 用 能 否 在 同一 台 服 务 器 上 运行 多 个 实例 。 会 发 生 多 个 用 
户 的 串扰 吗 ? 

提出 疑问 “数据 会 被 记录 吗 ”， 输 入 串 可 能 包含 地 址 或 其 他 身份 信 
FA 
建议 使 用 真实 数据 进行 自动 化 测试 ， 如 从 词典 或 书本 里 选择 。 
提出 疑问 , “计算 足够 快 吗 ? 在 大 负载 下 呢 ? ” 





提出 疑问 , “该 页 是 可 发 现 的 吗 ? 用 户 怎么 能 找到 该 页 面 ? ” 

输入 HTML 和 JavaScript， 看 是 否 会 破坏 页 面 泻 染 。 

询问 是 对 大 写 还 是 小 写 的 A 计 数 ， 还 是 都 包括 。 

尝试 复制 和 粘贴 字符 串 。 

还 有 一 些 想 法 更 加 高 级 ， 反 映 了 富有 经 验 的 、 宝 贯 的 测试 思维 ， 能 
够 比 问题 走 的 更 远 。 他 们 可 能 会 这 样 做 。 

意识 到 计算 会 通过 URL-encoded HTTP GET 请 求 传递 到 服务 器 ， 字 
符 串 可 能 会 在 穿越 网 络 时 被 截断 。 因 此 ， 无 法 保证 支持 多 长 的 URL。 

建议 将 此 应 用 参数 化 。 为 何 只 对 字母 A 计 数 呢 ? 

考虑 计算 其 他 语言 中 的 A〈 如 埃 A 或 变 音 符号 ) 。 

考虑 该 应 用 是 否 可 以 被 国际 化 。 

考虑 编写 脚本 或 者 手工 采样 来 探知 字符 串 长 度 的 上 限 〈 例 如 ， 通 过 
2 的 指数 递 进 算法 ) ， 然 后 确保 在 此 区 间 内 功能 正常 。 

考虑 背后 的 实现 和 代码 。 也 许 有 一 个 计数 器 遍历 该 字符 串 ， 另 外 一 
个 跟踪 已 经 遇 到 了 多 少 个 A《〈 累 加 器 ) 。 因 此 ， 可 以 在 边界 值 附近 变化 
A 的 个 数 和 字符 串 的 长 度 来 进行 测试 。 

提出 疑问 ,，“HTTP POST 方法 和 参数 会 被 黑 掉 吗 ? 也 许 有 安全 漏 
i? ” 

用 脚本 创建 各 种 有 趣 的 排列 组 合 和 字符 串 特性 如 长 度 、A 的 个 数 等 
的 组 合 ， 自 动 生成 测试 输入 和 验证 。 

了 解 候 选 人 使 用 多 长 的 字符 串 做 为 测试 用 例 ， 这 通常 能 暗示 他 们 工 
作 时 的 表现 。 如 果 候 选 人 只 是 一 般 性 的 知道 使 用 “长 字符 串 ”( 最 常见 的 
答案 ) ， 但 却 无 法 就 特定 场景 进行 技术 性 的 分 析 ， 这 是 一 种 糟糕 的 迹 
象 。 更 懂 技 术 的 候选 人 ， 会 询问 字符 串 的 规格 说 明 ， 进 而 围绕 极限 点 进 
行 边 界 值 测试 。 例 如 ， 当 极限 点 是 1000 的 时 候 ， 他 们 会 尝试 ”999、 
1000 ”和 1001。 最 好 的 候选 人 还 会 尝试 2^*32， 以 及 许多 其 他 有 趣 的 值 ， 
例如 2 和 10 的 次 方 。 重 点 在 于 候选 人 表现 出 对 真正 重要 的 数字 值 的 理 














解 ， 而 不 只 是 使 用 随机 数值 一 一 他 们 需要 对 底层 的 算法 、 语 言 、 运 行 时 
和 硬件 都 有 所 了 解 ， 因 为 这 些 正 是 错误 最 经 常 出 现 的 地 方 。 他 们 还 应 当 
基于 可 能 的 实现 细节 尝试 不 同 的 长 上 度 ， 并 考虑 到 计数 器 、 指 针 及 循环 的 
边界 错误 。 最 优秀 的 候选 人 还 会 意识 到 系统 可 能 是 有 状态 的 ， 测 试 必须 
将 先前 的 输入 考虑 在 内 。 因 此 ， 多 次 输入 同一 字符 串 ， 或 者 在 长 度 为 
1000 的 字符 串 之 后 输入 一 个 长 度 为 0 的 ， 这 些 就 属于 重要 的 使 用 情形 。 

面试 时 试图 考察 的 另外 一 个 关键 特征 ， 是 TE 所 需要 具备 的 处 理 模 
糊 性 、 反 驶 糟 料 想法 的 能 力 。 我 们 通常 会 更 改 规格 说 明 或 者 描述 一 个 说 
不 通 的 行为 ， 只 要 候选 人 提出 淤 清 性 的 问题 就 会 发 现 这 一 点 。 他 们 如 何 
处 理 这 种 模糊 性 ， 很 大 程度 上 反映 了 他 们 将 来 在 工作 上 的 表现 。 在 
Google， 鉴 于 快 节 奏 的 发 布 周 期 ， 规 格 说 明 经 常 变 来 变 去 ， 可 以 有 不 同 
的 理解 和 修改 。 如 果 候 选 人 能 指出 “5 个 字符 的 最 大 长 度 ” 这 种 描述 是 有 
点 奇怪 的 ， 有 可 能 会 使 用 户 感 到 疑惑 ， 这 正 反 映 了 他 们 能 从 用 户 角 上 度 思 
考 。 如 有 果 候 选 人 不 假 思 索 地 接受 了 这 个 描述 并 匆忙 动手 ， 那 他 们 在 实际 
工作 中 也 很 有 可 能 如 此 ， 结 果 是 白费 力气 验证 了 错误 的 行为 。 那 些 能 反 
驶 或 者 质疑 规格 说 明 的 候选 人 ， 往 往 在 工作 中 有 优异 的 表现 。 当 然 ， 也 
要 注意 有 反 驱 或 者 质疑 的 方式 。 

TE 面试 的 最 后 一 环 是 看 候选 人 是 否 上 共有 “Google 味 儿 ”。 我 们 需要 的 
是 有 好 奇 心 、 充 满 热情 的 工程 师 ， 他 们 不 会 满足 于 简单 完成 被 分 派 的 工 
作 ， 而 是 会 进一步 探索 各 种 可 能 性 ， 尝 试 工作 描述 之 外 的 东西 。 工 作 职 
贡 上 自然 要 完成 ， 但 是 生活 和 工作 的 意义 在 于 最 大 限度 地 对 外 部 世界 产生 
影响 。 我 们 需要 的 是 那些 与 现实 世界 和 计算 机 科学 团体 紧密 联系 的 人 ， 
例如 给 开源 项 目 开 bug 的 人 ， 或 者 通用 化 自己 的 工作 以 提高 复 用 性 的 
人 。 我 们 需要 的 是 能 够 与 其 他 人 和 睦 相 处 、 合 作 恰 快 的 人 ， 是 能 够 影响 
Google 文 化 的 人 。 我 们 需要 的 是 愿意 持续 学 习 和 成 长 的 人 。 我 们 也 需要 
那些 带 来 新 鲜 思 想 和 经 验 的 人 ， 他 们 丰 宣 了 Google 的 人 才 库 。Google 的 
座右铭 是 “不 作恶”， 我 们 硕 望 他 们 在 看 到 问题 时 能 直言 不 讳 。 

















参加 大 型 技术 公司 的 面试 是 一 件 令 人 害怕 的 事情 ， 对 我 们 目 己 而 言 
亦 然 。 很 多 人 无 法 一 次 过 关 ， 而 是 再 要 多 次 练习 。 严 酷 的 面试 并 非 我 们 
的 本 意 ; 我 们 的 目的 是 确保 找到 合适 的 、 能 发 挥 作 用 的 、 将 来 能 胜任 工 
作 顺 利 成 长 的 人 。 面 试 必须 有 益 于 公司 和 候选 人 双方 。 跟 大 多 数 员 工 众 
多 却 立 志 于 保持 小 公司 感觉 的 公司 一 样 ，Google 的 原则 是 宁 缺 勿 滥 。 我 
们 希望 Google 成 为 大 家 愿意 为 之 工作 多 年 的 一 个 公司 。 为 了 这 个 目标 ， 
招聘 合适 的 员工 是 最 好 的 办 法 。 














3.2.6 Google 的 测试 领导 和 管理 工 


大 家 有 时 候 开 玩笑 说 我 们 只 擅长 管理 技术 一 流 、 工 作 积极 、 独 立 自 
主 的 工程 师 。 事 实 上 ， 在 Google 管 理 TE 毫 不 轻松 。 问题 在 于 如 何 激励 ， 
而 非 指令 ;在 于 保持 凝聚 力 和 一 致 性 ， 同 时 又 要 鼓励 创新 和 实验 ， 信 任 
大 家 尽 可 能 自己 做 出 正确 的 决定 。 这 实际 上 是 一 件 很 困难 的 事情 。 

在 Google 领 导 和 管理 测试 人 员 与 其 他 公司 情形 迎 异 ， 原 因 在 于 如 下 
几 种 因素 : 如 此 之 少 的 测试 人 员 、 招 聘 高 手 、 对 于 多 样 性 和 独立 性 的 适 
当 的 尊重 。Google 的 测试 管理 更 多 的 是 激励 ， 而 非 强悍 的 管理 ， 更 多 的 
是 战略 指引 ， 而 非 频 繁 的 督促 检查 〈 每 天 、 每 周 等 ) 。 这 样 一 来 ， 和 其 
他 我 们 兽 经 工作 的 地 方 相 比 ，Google 的 工程 管理 就 处 于 一 种 开放 式 的 、 
灵活 的 、 经 常 更 加 复杂 的 处 境 。Google 管 理 的 核心 是 领导 力 和 洞察 力 、 
协商 、 外 部 沟通 、 技 术 水 平 、 战 略 规划 、 招 聘 和 面试 、 完 成 团队 绩效 考 
核 。 

通常 ， 过 度 的 管理 和 组 织 会 带 来 紧张 的 气氛 。Google 的 测试 总 监 、 
经 理 和 其 他 领导 者 都 必须 在 充分 信任 工程 师 和 确保 他 们 不 会 发 生 重 大 事 
故 或 浪费 时 间 之 间 寻 找平 衡 。Google 专 注 于 投资 大 型 的 、 战 略 性 的 方案 
去 解决 大 问题 ， 经 理 们 有 责任 去 避免 开发 重复 的 测试 框架 、 或 是 过 多 的 
投入 在 小 型 测试 上 ， 而 应 该 鼓励 宝贵 的 工程 师资 源 用 于 更 大 型 的 测试 执 

















行 和 基础 平台 的 建设 。 倘 奋 没 有 这 种 监督 ， 只 人 靠 个 人 或 是 20% 的 目 由 时 
lA], (RE Min CM AAR AX. GEST TCH) o 





海 资 领导 力 〈 作 者 : Jason Arbon) 


Google 管 理 测试 工程 团队 的 方式 ， 可 以 用 海盗 船 来 做 类 比 。 测 试 组 
织 里 的 工程 师 的 天 性 就 是 质疑 、 要 求 确 定性 的 数据 、 不 断 评估 主管 或 经 
理 的 指令 。 我 们 面试 时 的 一 个 关键 要 求 就 是 自主 驱动 、 自 主 定 回 那 
么 如 何 来 管理 这 些 人 呢 ? 

要 找到 答案 ， 不 妨 去 想象 一 个 海盗 船 的 船长 是 如 何 维持 秩序 的 。 事 
实 是 ， 船 长 无 法 通过 强力 或 者 负 惧 来 “省 理 ”这 群 人 ， 因 为 他 们 都 武装 到 
FTA, JERE, PREI, mK DEEA. MERER 
靠 金钱 ， 因 为 这 群 海盗 通常 衣食 无 忧 。 他 们 真正 的 动力 在 于 动 探 的 生活 
方式 和 看 到 下 一 次 收成 的 兴奋 感 。 叛 乱 随时 可 能 有 发生， 因为 Google 的 组 
织 是 动态 变化 着 的 。 工 程 师 甚至 被 喜 励 频 索 更 换 团 队 。 如 有 果 这 个 船 没 有 
找到 足够 多 的 珍宝 ， 或 者 活 儿 很 没劲 ， 工 程 师 “ 海 盗 ” 就 会 在 下 一 个 港口 
弃 船 而 去 。 
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相 比 ， 你 不 过 是 稍微 更 加 清楚 地 平 线 上 有 什么 、 附 近 有 什么 船 、 它 们 可 
能 载 着 什么 珍宝 。 要 靠 技 术 洞 察 力 、 令 人 兴奋 的 技术 冒险 、 有 趣 的 停靠 
港口 来 带领 团队 。 在 Google， 工 程 经 理 即 便 在 睡觉 时 都 得 睁 着 一 只 眼 
HE o 

Google 有 几 种 不 同类 型 的 主管 和 经 理 : 技术 负责 人 (tech lead) 、 
技术 主管 (tech lead manager) 、 工 程 经 理 Cengineering manager) 和 总 
监 〈director) 。 

ERATA (tech lead) : 测试 技术 负责 人 出 现在 大 型 项 目的 大 型 
团队 里 ， 里 面 有 大 量 的 SET 和 TE， 他 们 参与 解决 共同 的 技术 问题 或 是 






































共享 相同 的 基础 平台 。 他 们 一 般 不 会 管 人 。 技 术 负责 人 还 会 出 现在 负责 
构建 产品 无 关 的 基础 平台 的 团队 里 。 他 们 是 当 你 遇 到 技术 或 测试 问题 时 
要 求助 的 人 。 这 个 角色 经 党 是 基于 团队 动态 变化 的 、 非 正式 的 ， 与 特定 
的 项 目 相 联系 。 

技术 主管 (tech lead manager, TLM) : 当 技 术 负 责 人 同时 也 被 
正式 任命 为 相关 工程 师 的 经 理 时 ， 就 被 称 为 技术 主管 。 这 些 人 一 般 德 高 
望 重 、 能 力 卓 著 。 他 们 通常 在 同一 时 间 只 关注 一 个 项 目 。 

测试 工程 经 理 (test engineering manager) : 工程 经 理 监督 跨 团 队 
的 技术 工作 ， 几 乎 没有 例外 ， 都 是 一 级 一 级 晋升 上 来 的 。 这 一 职位 大 致 
等 同 于 业界 所 谓 的 测试 经 理 ， 但 其 职 贡 广度 往往 类 似 于 许多 其 他 公司 的 
总 监 ， 这 是 由 Google 项 目 中 测试 资源 的 稀缺 性 决定 的 。 工 程 经 理 通 常 管 
理 12~35 人 ， 具 体 数 量 取决 于 工作 的 复杂 性 。 他 们 负责 共享 跨 团 队 的 工 
上 其 和 流程 ， 根 据 风 险 评估 安排 资源 ， 并 指导 招聘 和 面试 。 

测试 总 监 (test director) : 测试 总 监 数量 很 少 ， 他 们 会 带 辱 干 测 
试 工程 经 理 、 跨 几 个 产品 线 ， 负 员 整 体 的 测试 工作 ， 推 动 战略 性 的 、 有 
时 是 转型 性 的 技术 架构 或 测试 方法 的 实施 。 他 们 的 关注 点 在 于 怎样 通过 
质量 和 测试 去 帮助 业务 (粗略 的 成 本 分 析 、 收 益 分 析 等 ) ， 并 经 常 抛 头 
露面 参与 业界 同行 的 交流 和 人 分享。 测试 总 监 一 般 有 40 一 70 名 下 属 。 这 一 
角色 的 设置 基本 上 与 大 部 门 或 技术 划分 一 致 ， 如 Client、Apps、Ads 等 。 

资深 测试 总 监 Csenior test director) : 只 有 一 个 ， 束 是 Pat 
Copeland， 他 人 负 贡 保证 公司 层面 的 统一 的 职员 描述 、 招 聘 、 外 部 沟通 和 
总 的 测试 战略 。 他 日 常 的 工作 包括 分 享 最 佳 实践 ， 建 并 和 推动 新 的 大 动 
作 如 全 局 构建 、 测 试 基 础 平台 、 静 态 分析 ， 以 及 跨越 不 同 产品 、 用 户 问 
题 和 代码 库 的 测试 活动 。 

大 多 数 的 Google 测试 人 员 都 要 参与 对 外 的 招聘 和 面试 ， 尤 其 是 总 
监 和 高 级 总 监 。 在 Google 面 试 中 也 会 发 生 一 些 问题 。 很 多 工程 师 已 经 对 
Google、Google 的 技术 、Google 优 越 的 工作 环境 等 鼎 有 耳闻 了 ， 他 们 经 
































常会 在 面试 过 程 中 表现 得 过 度 紧 张 而 导致 面试 失败 。 通 常 ， 优 秀 的 候选 
人 在 原来 的 工作 岗位 上 轻松 愉快 、 颇 有 地 位 ， 他 们 会 担心 Google 的 竞争 
更 加 激烈 。 要 打消 这 些 担心 ， 最 好 的 办 法 是 告诉 他 们 正在 和 谁 谈话 。 
Google 工 程 师 个 人 能 力 强 、 积 极 性 高 ， 但 是 ， 工 作 的 乐趣 和 产品 的 巨大 
影响 力 ， 很 大 程度 上 产生 于 一 群 志趣 相投 的 工程 师 的 彼此 协作 ， 在 强大 
的 基础 计算 架构 上 成 就 神奇 。 

除 此 之 外 还 有 很 多 内 部 招聘 。Google 鼓 励 工程 师 去 更 换 项 目 或 跨 团 
队 调 动 。 内 部 招聘 主要 是 交流 各 上 自 项 目的 情况 和 团队 氛围 。 绝 大 多 数 的 
内 部 招聘 发 生 在 工程 师 之 间 ， 他 们 会 聊 聊 有 意思 的 项 目 、 技 术 问 题 ， 以 
及 对 目前 所 在 测试 、 开 发 或 项 目 经 理 团队 的 满意 度 。 侦 尔 会 有 半 正 式 的 
安排 组织 一 些 需 要 人 的 团队 来 介绍 他 们 的 工作 ; 但 主要 还 是 自发 进行 
的 一 一 允许 人 们 自由 流动 到 他 们 感 兴趣 和 能 实现 最 大 价值 的 地 方 。 

技术 型 : 测试 经 理 、 尤 其 是 测试 主管 的 定位 是 技术 型 人 才 。 他 们 应 
该 会 编写 代码 、 评 审 人 代码， 并 且 总 应 该 比 团队 的 其 他 人 更 懂 产 品 和 客 
ja 

协商 : 不 可 能 什么 都 测 ， 测 试 无 止境 。 面 对 经 常 性 的 资源 申请 和 其 
他 要 求 ， 工 程 经理 和 总 监 需 要 掌握 拒绝 的 艺术 、 以 理 服 人 《politelsano 
with great reasoning) 。 

外 部 沟通 : 测试 管理 层 还 要 经 常安 排外 包 测 试 事宜 ， 组 织 与 外 部 同 
行 的 交流 ， 例 如 GTAC (Google Test Automation Conference，Google 测 
试 上 自动 化 大 会 ) ， 以 及 面 同 更 大 的 社区 建立 论坛 ， 用 于 测试 工程 问题 的 
讨论 和 分 享 等 。 

战略 性 举措 : 测试 主管 和 经 理 经 常会 问 自 己 ， 有 哪些 事情 别人 做 不 
了 但 我 们 能 做 ?如 何 扩展 和 共享 我 们 的 测试 架构 来 帮助 大 家 ， 携 手 共 创 
更 美好 的 互联 网 ? 如 果 合 并 资源 ， 投 资 长 期 的 赌注 会 怎么 样 ? 文 持 这 些 
战略 性 举措 需要 业务 和 技术 上 的 洞察 力 、 需 要 经 费 预 算 、 需 要 顶 住 其 他 
工作 对 测试 资源 的 竞争 ， 这 确实 得 是 一 份 全 职 的 工作 。 
































绩效 考评 : Google 的 绩效 考评 综合 了 同事 反馈 和 由 主管 、 经 理 推动 
的 路 团队 比照 ， 每 季度 一 次 。 重 点 是 你 最 近 做 了 什么 事情 ?在 质量 和 效 
率 上 、 对 用 户 而 言 产 生 了 什么 影响 ?考评 系统 不 会 让 大 家 堆砌 之 前 的 工 
作 。 整 套 机 制 没有 完全 人 公开， 而且 经 常会 进行 实验 和 发 生变 动 ， 因 此 文 
档 也 没什么 大 作用 。 基 本 上 就 是 个 人 提交 一 份 简短 的 描述 ， 讲 一 下 自己 
做 的 东西 ， 做 一 个 自我 评价 。 然 后 同事 和 经 理发 表意 见 ， 独 立 委 员 会 组 
织 会 议 进行 跨 团 队 的 比照 ， 给 出 一 个 评价 结果 。 重 要 的 一 点 是 Googler 
应 该 制定 比 预期 能 力 更 高 的 目标 (set goals higher than  thethink 
possible) 。 如 果 一 个 人 达到 了 他 的 所 有 目标 ， 那 说 明 他 的 目标 还 不 够 
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动 ， 如 果 这 么 做 对 员工 有 好 处 的 话 。 在 Google， 员 工 可 以 频繁 地 在 各 种 
只 位 之 间 转 岗 。TE 到 SET、SET 到 SWE 是 最 为 常见 的 ， 因 为 工程 师 会 追 
求 他 们 的 技术 兴趣 和 专业 特长 。 从 SET 到 TE、TE 到 PM 是 第 二 常见 的 ， 
因为 人 们 也 会 退 求 技能 上 的 扩展 和 编码 之 外 的 新 鲜 感 。 

经 理 还 会 帮助 团队 成 员 设 定 季 度 和 人 年度 的  OKRs (OKR ”代表 
Objectives and Key Results, HI 目标 和 关键 结果 。OKR 不 过 是 列 出 目标 
并 指出 如 何 衡量 目标 是 否 成 功 的 好 昕 的 说 法 。 在 Google， 我 们 关注 可 衡 
量 的 指标 。 达 到 70% 意 味 着 你 可 能 设 定 了 较 高 的 目标 ， 然 后 努力 工作 去 
SME. IKE 1009% 意 味 着 你 可 能 在 设 定 目标 时 不 够 有 进取 心 ) 。 他 们 
要 保证 有 一 些 高 目标 的 OKR， 即 那些 非常 乐观 的 、 野 心动 动 的 目标 ， 即 
使 不 必 或 可 能 不 会 达成 ， 这 些 目标 仍 能 起 到 促进 在 做 计划 时 力争 上 游 的 
作用 。 经 理 还 要 确保 在 这 些 目 标 中 ，TE 和 SET 的 个 人 能 力 和 兴趣 与 项 目 
和 业务 需要 之 间 是 一 致 的 。 

作为 测试 领导 层 ， 经 常 需要 习 协 ， 并 能 尊重 个 体 SET 和 TE 的 聪明 才 
智 。Google 领 导 和 管理 的 一 个 标志 是 辅导 和 指导 (mentoring and 
guiding) 下 属 工作 ， 而 不 是 直接 下 命令 (dictating) 。 









































Google 一 癌 以 尽早 交付 、 经 单 交 付 、 尽 快 失败 (shipping early and 
often, and failing fast〉 闻 名 于 世 。 资 源 也 会 冲 问 那些 最 高 风险 的 项 目 。 
对 TE 而 言 ， 这 意味 着 某 些 特性 、 甚 至 是 整个 项 目 被 降低 优先 级 或 者 完 
全 放弃 。 这 种 事情 经 常 在 你 已 经 搞 清 楚 了 测试 某 个 特定 软件 的 困难 ， 或 
者 刚 把 一 件 事情 置 于 控制 之 下 时 发 生 。Google 的 TE 必须 做 好 准备 ， 知 道 
如 何在 技术 和 感情 上 面 对 这 种 情形 。 这 并 不 可 怕 ， 但 是 如 果 不 严肃 对 
待 ， 可 能 会 造成 很 大 的 风险 和 浪费 。 











维护 模式 示例 : Google Desktop 〈 作 者 : Jason Arbon) 


我 曾 被 任命 去 负责 Google _ Desktop 的 测试 ， 
因为 Google _ Desktop 是 一 个 有 痢 几 千 万 用 户 、 兼 有 客户 端 和 服务 器 端 
件 、 并 与 Google 搜 索 集 成 在 一 起 的 应 用 。 在 我 负责 之 前 ， Um 
试 主管 曾 领 导 过 这 个 项 目 ， 坚 无 例外 地 和 遗留 了 一 些 质量 问题 和 其 他 问 
题 。 项 目 很 大 ， 但 跟 多 数 大 项 目 一 样 ， 新 特性 开发 的 节奏 已 经 放 慢 ， 经 
过 了 好 几 年 的 测试 和 使 用 ， 风 险 也 已 大 为 降低 。 

当 我 与 其 他 两 名 同事 空降 到 这 个 项 目的 时 候 ，Google Desktop 有 大 
约 2500 个 测试 用 例 ， 它 们 保存 在 老 的 TestScribe 测 试用 例 管理 (TCM) 
系统 里 ， 在 Hyderabad 办 公 室 有 几 个 聪明 勤奋 的 外 包 人 员 ， 负 责 在 每 次 
发 布 前 执行 这 些 测试 用 例 。 一 个 测试 周期 经 常 达到 一 周 甚至 更 长 。 之 前 
有 过 一 些 尝 试 ， 试 图 通过 UI 和 可 访问 性 钓 子 Caccessibility ”hook〉 进 行 
自动 化 ， 但 是 最 终 都 迫 于 问题 的 复杂 性 和 成 本 而 失败 了 。 很 难 通过 
C++ 代码 同时 驱动 web TASS TIA Bi UI， 此 外 ， 超 时 问题 也 不 断 地 
发 生 。 

另外 两 个 测试 同事 是 Tejas Shah 和 Mike Meade。 在 Google， 本 来 就 











没有 多 少 资源 会 投入 在 客户 端 应 用 的 测试 上 。 那 时 ， 大 量 的 Google 产 品 
已 经 Web 化 ， 或 者 很 快 就 要 Web 化 。 因 此 我 们 决定 采用 一 个 Python 测 
试 框架 ， 此 框架 之 前 是 由 Google Talk Labs Edition 开 发 的 ， 通 过 Web 
DOM 了 驱动 产品 。 这 个 框架 具有 基本 元 素 ， 例 如 一 个 继承 自 PyUnit 的 测试 
用 例 类 。 由 于 许多 TE 和 开发 都 懂 Python， 因 此 在 发 生 问 题 时 很 容易 找到 
能 帮忙 的 人 。 一 旦 需要 ， 我 们 很 容易 就 能 从 这 个 项 目 胶 喘 。 此 外 ， 
Python 在 迭代 式 开 发 很 小 的 代码 块 时 ， 速 度 奇 快 ， 而 且 已 经 默认 安装 在 
所 有 机 器 上 。 这 样 ， 只 需 一 个 命令 行 束 能 完成 整个 测试 集 的 部 署 。 

最 终 ， 我 们 决定 完整 地 扩展 这 个 Python API 来 驱动 产品 ， 我 们 使 用 
ctypes 驱 动 客户 端 搜索 的 COM API， 模 拟 服务 器 端的 啊 应 来 将 本 地 结果 
注入 到 google.com 的 结果 之 中 《〈 这 可 不 简单 ) ， 使 用 多 个 用 户 库 函数 ， 
并 控制 数据 抓 取 。 我 们 还 实现 了 虚 机 自动 化 (virtual machine 
automation) 来 支持 那些 需要 Google Desktop 索 引 的 测试 。 在 没有 这 个 支 
持 的 时 候 ， 每 完成 一 次 新 的 安装 ， 就 要 花 几 个 小 时 的 时 间 去 重建 索引 。 
我 们 建立 了 一 个 小 型 的 、 自 动 化 的 冒 烟 测 试 集 来 覆盖 高 优先 级 的 功能 。 

接着 ， 我 们 分 析 了 这 2500 个 遗留 的 测试 用 例 。 其 中 的 很 多 用 例 难 以 
理解 ， 不 是 引用 了 项 目 早 期 的 原型 或 已 经 不 存在 的 特性 中 的 上 暗语， 就 是 
对 机 器 的 上 下 文 和 状态 有 太 多 的 假设 。 不 幸 的 是 ， 这 些 知识 只 是 存在 于 
Hyderabad 外 包 人 员 的 脑袋 里 ， 并 没有 什么 文档 。 想 想 我 们 需要 快速 验 
证 一 个 突 发 而 至 的 市 安全 补丁 的 版 本 ， 这 太 粳 糙 了 ， 同 时 也 非常 昂贵。 
因此 ， 我 们 勇敢 地 研究 了 所 有 2500 个 测试 用 例 ， 基 于 自己 对 产品 的 认识 
保留 了 其 中 最 重要 的 和 最 有 意义 的 用 例 ， 丢 挤 了 其 他 绝 大 部 分 用 例 ， 最 
后 只 剩 下 大 概 150 个 ， 用 例 数 量 减 少 了 一 个 数量 级 。 我 们 跟 外 包 人 员 一 
起 修改 了 剩 下 的 手工 测试 用 例 的 描述 ， 使 所 有 测试 步骤 足够 的 详细 和 清 
楚 ， 任 何 用 过 一 小 会 儿 Google _ Desktop 人 都 可 以 运行 。 我 们 可 不 想 成 为 
将 来 唯一 能 跑 这 些 回 归 测 试 的 人 。 

到 现在 ， 我 们 有 了 自动 化 的 测试 用 例 来 对 每 个 版 本 进行 回归 测试 ， 






































以 及 任何 人 一 下 午 就 可 以 执行 完毕 的 手工 测试 用 例 。 同 时 ， 这 也 解放 了 
外 包 人 员 ， 使 得 他 们 可 以 做 其 他 具有 更 高 价值 的 事情 了 ， 既 降低 了 成 
本 ， 又 缩短 了 交付 周期 。 

大 概 是 那个 时 候 ，Chrome 项 目 开 始 了 ， 并 被 视 为 未 来 Google 客户 
问 服 务 的 方向 。 此 时 ， 我 们 正 处 于 要 收获 的 季节 ， 丰 富 的 自动 化 API 测 
试 带 来 的 好 处 办 露头 角 ， 与 此 同时 ， 自 动 生成 的 、 长 期 运行 的 测试 用 例 
也 在 建立 之 中 。 但 也 就 在 此 时 ， 我 们 被 要 求 迅速 将 资源 投入 到 Chrome 
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有 了 自动 化 回归 测试 用 例 来 检查 每 个 内 部 和 公开 版 本 ， 以 及 超级 轻 
量 级 的 手工 测试 用 例 ，Desktop 进 入 维护 模式 的 时 机 已 经 成 熟 ， 是 时 候 
把 精力 转移 到 不 稳定 和 有 风险 的 Chrome 项 目 中 了 。 

但 是 ， 对 我 们 而 言 ， 那 时 还 有 一 个 烦人 的 bug 在 论坛 里 不 断 出 现 : 
一 部 分 用 户 ， 在 使 用 Google Desktop 的 若干 版 本 时 ， 发 现 它 会 占 满 硬盘 
空间 。 由 于 难以 重 现 ， 这 个 问题 被 不 断 拖延 。 我 们 通过 社区 经 理 
(Community Manager) 得 到 了 更 多 客户 的 机 器 信息 ， 但 仍然 无 法 定位 
问题 。 我 们 担心 这 会 影响 越 来 越 多 的 用 户 ， 倘 无 专人 投入 ， 这 个 问题 恐 
怕 永 远 不 会 得 到 解决 ， 或 者 在 最 后 必须 要 解决 的 时 候 会 非常 的 肪 烦 。 
此 ， 我 们 在 撤离 之 前 进行 了 深入 的 调查 。 测 试 团队 不 断 督 促 PME A 
介入 ， 其 至 从 外 地 请 回 了 一 个 原来 负责 索引 代码 的 开发 。 最 后 还 是 这 个 
开发 找到 了 问题 所 在 ， 他 注意 到 如 果 用 户 安 装 了 Outlook，Desktop 就 会 
不 断 重 建 和 索引 ， 索 引 代码 每 次 扫 擅 都 错误 地 把 每 一 个 老 的 条 目 当做 新 
的 ， 很 缓慢 但 却 稳定 地 吃 反 了 硬盘 空间 ， 这 只 会 发 生 在 那些 使 用 了 
Outlook 的 任务 特性 的 用 户 身 上 。 因 为 索引 的 上 限 是 2GB， 上 所 以 暴露 问 
题 的 时 间 需 要 很 入， 用户 只 会 注意 到 最 新 的 文档 没有 被 索引 。 但 是 ， 负 
贡 任 的 研发 过 程 使 得 问题 得 到 了 发 现 和 修复 。 最 新 版 本 的 Desktop 修 复 
了 这 一 问题 ， 因 此 在 交付 之 后 的 6 一 12 个 月 的 时 间 里 ， 不 再 有 湾 在 的 问 









































我 们 还 对 一 个 功能 设置 了 定时 下 线 ， 提 醒 用 户 这 个 特性 将 会 消失 。 
我 们 还 简化 了 实现 机 制 ， 使 它 更 加 可 靠 。 测 试 团 队 建 议 放 弃 原 有 的 联系 
服务 占 读 取 特 性 何 时 关闭 的 标志 变量 的 方法 ， 而 是 使 用 一 种 更 可 靠 的 只 
涉及 客户 端的 方法 。 这 样 做 避免 了 发 布 一 个 不 带 该 特性 的 版 本 的 工作 ， 
还 通过 简化 设计 使 该 特性 更 加 稳健 。 

我 们 编写 了 一 份 简短 的 how-to 文 档 ， 描 述 如 何 执行 目 动 化 和 手工 测 
试 〈 一 个 小 发 布 只 需要 一 个 外 包 几 个 小 时 的 时 间 ) ， 确 定 了 一 个 能 随 叫 
随 到 的 外 包 ， 然 后 就 把 测试 重点 转 癌 Chrome 和 云 项 目 了 上 。 接 下 来 的 发 
布 非常 地 顺利 。 那 些 自 动 化 的 测试 直到 今天 还 在 运行 。Desktop 客 户 还 
在 很 活跃 地 使 用 这 个 产品 。 

在 把 一 个 项 目 置 于 质量 维护 模式 的 时 候 ， 我 们 需要 减少 保持 质量 所 
需 的 人 工 干 预 的 比重 。 关 于 代码 的 一 个 有 趣 之 处 是 它 会 随 着 时 间 的 流逝 
而 变 坏 、 出 错 。 这 同时 适用 于 产品 代码 和 测试 代码 。 维 护 模 式 下 ， 大 部 
分 工作 是 监控 质量 ， 而 不 是 寻找 新 问题。 万物 彰 然 ， 当 一 个 项 目 人 财 不 
愁 时 ， 它 的 测试 总 不 是 最 精简 和 优化 的 。 因 此 ， 后 来 的 测试 人 员 有 必要 
给 测试 瘦身 。 

在 淘汰 手工 测试 用 例 的 时 候 ， 我 们 使 用 如 下 指导 方针 。 

忆 是 通过 的 测试 ， 淘 汰 ! 在 高 优先 级 的 训 试 都 来 不 及 做 的 时 候 ， 低 
优先 级 的 测试 ， 淘 汰 ! 

确保 正确 理解 即将 被 淘汰 的 测试 用 例 。 从 即将 淘汰 的 领域 里 ， 挑 选 
儿 个 有 代表 性 的 测试 。 如 果 可 能 整 与 原作 者 聊 一 聊 ， 理 解 其 意图 ， 避 人 免 
失误 

我 们 把 释放 出 来 的 时 间 用 于 测试 自动化、 高 优先 级 的 测试 或 探索 式 
测试 。 

我 们 还 会 抛弃 之 前 可 能 发 生 过 误 报 或 者 行为 反常 的 目 动 化 测试 
它们 只 会 发 出 错误 警报 ， 浪 费 工程 师 的 时 间 。 

下 面 是 在 进入 维护 模式 前 要 考 碟 的 要 点 。 




















撤离 之 前 ， 把 困难 的 问题 解决 掉 ， 而 不 是 轻易 放 过 。 

即使 一 个 小 型 的 、 负 责问 到 问 测 试 的 自动 化 测试 集 ， 也 会 以 近 乎 为 
零 的 成 本 提供 长 期 的 质量 保证 。 如 果 没 有 ， 一 定 要 建立 一 个 这 样 的 自动 
化 测试 集 。 

留 下 一 份 how-to 文 档 ， 以 便 公 司 的 任何 人 都 可 以 运行 你 的 测试 集 ， 
这 也 会 减少 你 在 将 来 繁忙 时 还 被 突然 打扰 的 可 能 性 。 

确保 有 一 个 问题 解决 通道 Cescalation path) ， 愿 意 承 担 一 些 责任 。 

时 刻 准 备 着 返回 到 你 曾经 工作 的 项 目 里 帮忙 ， 这 对 产品 、 团 队 和 用 
户 都 有 益 。 

进入 测试 维护 模式 对 许多 项 目 来 说 是 无 可 改变 的 事实 ， 在 Google 尤 
其 如 此 。 作 为 一 个 TE， 本 着 对 用 户 负 责 的 态度 ， 我 们 应 小 心 行事 ， 使 
用 户 尽 可 能 的 不 受 影响 ， 使 研发 过 程 尽 可 能 的 高 效 。 同 时 ， 我 们 也 必须 
能 够 继续 前 进 ， 而 不 是 一 辈子 都 守 在 某 些 代码 或 者 想法 上 。 


























现在 ， 让 我 们 起 记 运 今 最 先进 的 测试 方法 和 工具 ， 用 搜索 引擎 架构 

CCPU 和 存储 近乎 免费 ， 人 类 宝 贯 的 大 脑 用 来 优化 搜索 算法 ) 的 思维 来 
想象 一 下 测试 可 能 的 样子 一 一 机 器 人 ， 更 准确 地 说 ， 质 量 机 器 人 。 

在 杀 喘 经 历 了 众多 项 目 、 与 众多 工程 师 和 团队 进行 了 广泛 交流 之 
， 我 们 意识 到 在 编写 和 运行 回归 测试 集 上 ， 消 耗 了 非常 多 的 脑力 和 财 
。 维 护 上 自动 化 的 测试 场景 和 手工 测试 的 回归 执行 ， 代 价 昂 贯 。 不 仅仅 
消耗 人 力 财 力 ， 而 且 速 度 还 很 慢 。 更 粳 糕 的 是 ， 我 们 最 终 要 寻找 期 望 的 
行为 。 那 意料 之 外 的 怎么 办 呢 ? 也 许 是 归功 于 Google 关 注 质 量 的 工程 实 
践 ， 回 归 测 试 执行 的 失败 率 常 常 在 5% 以 下 。 重 要 的 是 ， 这 件 工作 对 我 
们 的 TE 来 说， 也 是 单调 乏味 的 。 别 筷 了 ， 我 们 面试 证 明了 他 们 是 有 高 
度 的 求知 欲 、 理 解 力 和 创造 性 的 。 我 们 希望 将 他 们 解放 出 来 去 做 更 加 联 





Ey nm 








明 的 测试 : 探索 式 测 试 ， 这 也 正 是 他 们 被 招 进 来 的 目的 。 

Google Search 不 断 地 故 取 网 页 ， 记 录 它 所 看 到 的 一 切 ， 找 到 计算 各 
种 数据 在 巳 大 索引 中 位 置 的 方法 ， 按 照 静 态 和 动态 相关 性 (质量 ) 分 数 
排序 ， 在 搜索 结果 页 面 中 展示 需要 的 数据 。 花 些 时 间 思 考 ， 你 就 会 看 到 
这 个 基本 的 搜索 引 苟 设计 正 像 是 一 台 自 动 化 的 质量 打分 机 与 理想 中 的 测 
试 引 擎 多 么 的 类 似 。 事 实 上 ， 我 们 已 经 实现 了 一 个 面 癌 测试 的 版 本 。 

(1) ER: 现在 ， 机 器 人 开始 爬 取 网 页 了 《最 高 优先 级 的 爬虫 在 
Skytap.com 提 供 的 虚 机 上 执行 。Skytap 提供 了 一 个 强大 的 虚 机 环境 ， 允 
许 开 发 人 员 直 接 登 录 到 出 错 的 虚 机 上 去 管理 那些 调试 中 的 实例 一 一 所 有 
这 一 切 都 在 浏览 器 中 完成 。 开 发 人 员 的 精力 和 时 间 比 CPU 周期 要 珍 贯 的 
多 。 此 外 ，Skytap 允许 机 器 人 完全 在 其 他 用 户 的 虚 机 和 账号 上 运行 ， 包 
括 访问 那些 非 公 开 的 预 发 环境 服务 器 〉。 成 干 上 万 的 虚拟 机 加 载 了 
WebDriver 自 动 化 脚本 ， 打 开 所 有 常用 的 浏览 器 访问 web 上 的 大 量 知名 
URL。 像 猴子 沿 着 滕 葛 跳跃 一 样 ， 机 右 人 沿 着 URL 从 一 个 跳 回 另外 一 
个 ， 与 此 同时 分 析 所 访问 的 网 页 结构 ， 从 而 构造 出 一 张 哪些 HTML 元 素 
出 现在 哪里 、 如 何 呈 现 的 地 图 。 

(2) RI: 疏 虫 将 原始 数据 传送 到 索引 服务 器 。 索 引 依据 使 用 的 
浏览 器 和 改 取 时 间 对 这 些 信 息 进 行 排序 。 它 会 预先 计算 好 各 轮 次 运行 之 
间 区 别 的 基本 统计 数据 ， 例 如 ， 改 取 了 多 少 个 页 面 。 

(3) 排序 : 当 一 个 工程 师 希 望 看 到 一 个 特定 的 网 页 在 多 轮 次 运行 
中 的 结果 ， 或 者 一 个 浏览 器 中 有 所 有 网 页 的 结果 ， 排 序 器 就 进行 深度 计 
算 ， 给 出 一 个 质量 分 ， 表 示 为 两 个 页 面 之 间 的 百分比 相似 分 ， 同 时 也 会 
计算 所 有 运行 的 平均 分 。100% 表 示 页 面相 同 。 小 于 100% 代 表 了 不 同 ， 
并 用 来 衡量 差异 程度 。 

结果 汇总 在 机 器 人 面板 上 显示 ， 如 图 3.27 所 示 。 详 细 结 果 展 示 在 
一 个 简单 的 显示 各 页 面 百 分 比 相似 性 的 表格 中 ， 如 图 3.28 和 图 3.29 所 
示 。 对 每 个 结果 ， 工 程 师 可 以 看 到 页 面 显 示 上 的 差异 。 在 这 个 比较 视图 









































中 ， 各 轮 次 运行 之 间 的 不 同 之 处 会 被 高 亮 ， 并 显示 了 存在 差别 的 元 素 的 
XPaths (XPaths 类 似 文件 路 径 ， 但 是 适用 于 Web 页 面 而 非 文件 系统 。 它 
们 识别 父子 关系 和 其 他 信息 ， 可 用 于 唯一 标识 Web 页 面 中 的 各 个 DOM 
元 素 。 参 见 http://en.wikipedia.org/wiki/XPath〉 及 其 位 置 ， 如 图 3.30 所 
示 。 工 程 师 还 能 看 到 各 URL 的 历史 平均 最 小 分 和 最 大 分 等 情况 。 
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A 13.27 机 器 人 数据 汇总 面板 : 跨 Chrome 版 本 的 变化 趋势 


Geegl® suite: Tue 21 Jun,2011 04:21:55 PM 


* Number of URLs: ~447 

Reference browser. Chrome 14.0.798.0 
Test browsers: Chrome 14.0.798.0 
. 
. 


Views 
‘Suite List 
Current Suite 
Compare 
‘Score Stats 
Latest Suite 


Data received: 895 
Result computed: 424 





Tue 21 Jun,2011 11:19:40 PM UTC 








| Tue 21 Jun, 2011 11:18:48 PM UTC 








| Tue 21 Jun, 2011 11:18:39 PM UTC 





| Tue 21 Jun,2011 11:18:33 PM UTC 








Tue 21 Jun,2011 11:17:26 PM UTC 











Tue 21 Jun,2011 11:17:23 PM UTC 











Tue 21 Jun,2011 11:17:21 PM UTC 











Tue 21 Jun,2011 11:17:21 PM UTC 











Tue 21 Jun,2011 11:15:08 PM UTC 











Tue 21 Jun,2011 11:15:07 PM UTC 





—————— — 


100.0000 Tue 21 Jun,2011 11:15:06 PM UTC 














b] 





Fara mre s m am mut 


| 

















© 100.0000 | Tue 21 Jun, 2011 11:13:53 PM UTC 


GeeSgls suite: Tue 21 Jun 2011 04:21:55 PM 


Number of URLs: -447 
Reference browser: Chrome 14.0.798.0 
Test browsers: Chrome 14.0.798.0 
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A 图 3.29 按照 差异 递减 顺序 排列 的 机 器 人 表格 


Geegl e hupviwww google.com 
eam. 


; - 
fideos Maps News Shopping Gmail more- IV deos Maps News Shopping Gmail more- 
| 
Advanced sea | 


Google Search  I'mFeeling Lucky Google Search| I'm Feeling Lucky 





A 图 3.30 机 器 人 的 页 面 差 异 可 视 化 
bots 的 首次 正式 运行 发 现 了 Chrome 的 两 个 金 丝 省 版 本 之 间 引 入 的 一 
个 问题 。bots 自 动 运 行 ，TE 检 查 结果 表格 时 看 到 一 个 URL 的 百分比 相似 
性 降低 了 。 进 一 步 查 看 差异 点 的 高 党 对 比 视图 ， 如 图 3.31 所 示 ， 工 程 
师 快 速 定 位 到 了 问题 。 因 为 这 些 ”bot 可 以 测试 ”Chrome 的 所 有 版 本 
(Chrome 每 日 构建 多 次 ) ， 工 程 师 可 以 快速 发 现任 何 回归 bug， 而 每 
个 版 本 包含 的 CL (change list) 很 少 ， 也 方便 了 确定 导致 问题 的 代码 提 
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Chrome 12.0.712.0: HTMLBODY /TABLE/TBODY/TR|2VTD|2yDIV/DIV[! }#bio 782x 
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A 图 3.31bot 的 首次 运行 发 现 的 第 一 个 bug 


一 次 代码 提交 《导致 回归 的 提交 URL 是 
http://trac.webkit.org/changeset/81691) 到 WebKit 代 码 库 (bug 56859: 
reduce float iteration in logicalLeft/RightOffsetForLine) 造成 了 一 个 回归 
问题 CWebKit BugZilla 的 问题 链接 是 
https://bugs.webkit.org/show_bug.cgi?id=56859。 在 Chromium 中 的 问题 跟 
踪 链 接 是 http://code.google.com/p/chromium/issues/detail?id=77261) ， 使 
得 该 页 面 中 部 的 div 被 演 染 在 了 前 屏 之 外 。Issue 77261: ezinearticles.com 
layout looks broken on Chrome 12.0.712.0。 

正如 我 们 所 预期 的 那样 ，bot 收 集 的 数据 与 人 工 结果 不 相 上 下 ， 其 
至 在 很 多 方面 更 胜 一 筹 。 绝 大 多 数 的 网 页 是 相同 的 ， 而 对 于 那些 存在 差 
寞 的 网 页 ， 工 程 师 借助 结果 视图 可 以 很 快 的 判定 这 些 差 别 是 否 无 关 紧 要 

〈 见 图 3.29) 。 现 在 ， 不 存在 回归 问题 的 判断 可 以 由 机 器 完成 了 。 这 件 
事情 的 意义 不 容 忽 视 ， 这 意味 着 靠 人 工 点 击 网 页 累 吐 血 的 时 代 一 去 不 复 
返 了 一 一 严格 讲 砍 挥 了 90% 左 右 的 人 工 劳动 。 原 来 持续 数 日 的 测试 任务 




















现在 几 (或 几 十 ) 分 钟 内 即 可 搞定 。 原 来 每 周 运行 一 次 ， 现 在 可 以 每 天 
执行 数 次 。 测 试 人 员 翻 喘 得 解放 ， 可 以 集中 精力 寻找 更 有 价值 的 bug 
Jg 

从 另外 一 个 角度 看 ， 如 果 在 浏览 器 保持 不 变 的 情况 下 长 时 间 观 察 一 
个 网 站 ， 我 们 惑 不 是 测试 浏览 堪 ， 而 是 在 测试 这 个 网 站 了 。 变 换 不 同 的 
浏览 器 访问 一 个 网 站 也 是 一 样 。 从 而 ， 网 页 开发 者 也 可 以 借助 这 个 工具 
检查 网 站 的 所 有 变化 。 也 就 是 说 ， 网 页 开发 者 可 以 在 每 次 推出 新 版 本 时 
运行 bot， 在 其 结果 表格 中 得 看 变化 的 内 容 。 无 顷 手工 测试 ， 网 页 开发 
者 一 眼 就 可 以 确认 变化 是 否 正 常 ， 是 否 需要 记录 一 个 回归 bug. M bug 
的 细节 如 什么 浏览 器 、 哪 个 应 用 版 本 ， 以 及 具体 的 HTML 元 素 信 息 都 已 
经 万 事 俱 备 了 。 

数据 驱动 的 网 站 怎么 办 呢 ? 例如 ，YouTube 和 CNN， 网 站 内 容 一 直 
在 变化 。 这 不 会 把 bot 搞 坚 吗 ? 只 要 bot 能 基于 历史 数据 理解 正 稼 的 波动 
就 行 了 。 如 果 在 一 这 又 一 过 的 运行 中 只 有 文章 内 容 和 网 像 在 发 生变 化 ， 
bot 所 测量 到 的 差异 值 将 会 保持 在 正常 区 间 内 《对 此 网 站 而 言 ) 。 当 网 
站 分 数 超出 正常 范围 时 ， 如 IFRAME 出 错 了 ， 或 者 网 站 采用 了 全 新 的 
布局 ，bot 会 产生 一 个 提醒 ， 通 知 到 网 站 开发 者 ， 由 他 来 判断 这 是 否 
和 常 ， 是 否 需要 报告 bnug。 图 3.32 上 所 示 为 一 个 少量 噪声 的 示例 ，CNET 在 
右边 显示 了 一 个 小 广告 ， 而 不 是 左边 。 这 个 噪声 无 足 轻重 ， 可 以 通过 设 
置 一 定 规则 或 人 工 快速 标记 予以 忽略 。 

现在 ， 如 果 许 多 提醒 一 下 子 冒 出 来 怎么 办 呢 ? 测试 或 开发 人 员 需 要 
逐一 检查 吗 ? 不 用 ， 我 们 正在 开展 实验 ， 将 这 些 差 寞 直接 转发 给 测试 人 
fa Chttp://www.utest.com 的 朋友 们 在 实验 中 帮 了 大 忙 ， 他 们 有 着 大 量 非 
党 聪明 能 干 的 测试 人 员 。 他 们 的 测试 经 常 能 发 现 比 内 部 重复 性 的 自动 化 
回归 测试 更 多 的 、 更 高 质量 的 问题 )》 。 测 试 人 员 去 进行 快速 评审 ， 通 过 
这 种 方式 使 得 核心 测试 和 开发 团队 不 受 噪 声 的 干扰 。 众 包 测 试 人 员 需 要 
对 比 网 页 的 不 同 版 本 ， 并 做 合适 的 标记 : 是 一 个 bug 还 是 一 个 新 功能 特 






































性 。 这 一 额外 的 过 小 进一步 保护 了 核心 工程 团队 ， 使 之 免 受 噪声 的 打 
扰 。 
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A [£3.32 bot 的 可 视 化 对 比 视图 : 带 噪声 的 页 面 

如 何 得 到 众 包 人 员 的 投票 数据 呢 ? 我 们 实现 了 一 个 功能 ， 可 以 基于 
原始 bot 数据 生成 一 个 简单 的 投票 页 面 。 通 过 几 个 实验 与 标准 的 人 工 评 
审 方法 进行 了 对 照 。 标 准 的 人 工 评审 方法 中 ， 现 场 外 包工 程 师 花费 了 3 
天 时 间 来 检查 150 个 URL。 相 比较 而 言 ，bot 只 标记 了 这 150 个 URL 中 的 6 
个 需要 检查 ， 而 这 6 个 不 再 需要 进一步 评价 。 这 些 标记 的 URL 被 发 给 众 
包 测 试 人 员 。 有 了 bot 数据 和 差别 可 视 化 工具 的 帮助 ， 一 个 众 包 测试 人 
员 确 认 一 个 网 站 有 无 问题 的 平均 时 间 是 18 秒 。 众 包 测 试 人 员 正 确 iim 
这 6 个 都 有 异常 ， 效 果 与 标准 的 人 工 评审 方法 一 致 ， 但 后 者 显然 要 昂 
I . 








BOMBE. (EIR ATES BRAS PL, AEE AC A SUA Ae ORT He 
单 、 文 本 框 和 按钮 怎么 办 呢 ? 解决 这 个 问题 的 工作 正在 进行 中 。 类 似 拍 





电影 ，bot 会 自动 地 与 网 页 上 感 兴趣 的 元 素 进 行 交互 ， 在 每 一 步 抓 取 
DOM 快 照 。 然 后 ， 每 次 运行 产生 的 “电影 ”可 以 逐 帧 对 比 。 

Google 已 经 有 好 几 个 团队 使 用 bot 取 代 了 大 量 的 手工 回归 测试 ， 节 
省 下 来 的 人 力 用 于 更 加 有 意思 的 工作 ， 例 如 探索 式 测 试 ， 这 在 以 前 是 没 
有 时 间 做 的 。 像 Google 其 他 事情 一 样 ， 我 们 不 紧 不 慢 地 推进 这 件 事情 ， 
以 保证 数据 的 准确 可 靠 。 团 队 的 目标 是 公开 此 服务 和 源 代码 ， 包 括 允 许 
在 其 他 人 的 VPN 上 进行 自我 托管 的 测试 ， 如 果 他 们 不 愿意 将 预 肥 环境 的 
URL 对 外 公开 的 话 。 

基本 的 bot 代 码 同 时 运行 在 Skytap 和 Amazon 的 EC2 上， 并 且 已 经 开 
源 〈 见 Google testing blog 或 附录 C) 。Tejas Shah 很 早 以 来 一 直 是 bot 
的 技术 主管 ， 后 来 加 入 的 有 Erie Thomas, Joe Mikhail 和 Richard 
Bustamante。 欢 迎 参与 这 个 项 目 ! 

















测量 整个 Internet 的 质量 


在 信息 检索 领域 ， 惯 例 是 随机 抽取 一 个 有 代表 性 的 搜索 查询 样 
本 。 当 你 知道 了 一 个 搜索 引擎 在 某 个 查询 集 上 的 性 能 ， 你 就 能 对 所 
有 搜索 查询 的 质量 建立 起 统计 学 上 的 置信 度 ， 就 像 总 统 大 选 的 民 调 
一 样 。 就 bot 而 言 ， 其 价值 在 于 ， 如 果 我 们 用 bot 测 试 了 Internet 上 代 
表 性 的 URL， 就 极 有 可 能 量化 并 跟踪 整个 Internet 的 质量 。 











图 3.33 所 示 为 早期 的 WebKit 布 局 测试 使 用 完整 页 面 布局 的 哈 希 值 。 
现在 我 们 可 以 测试 完整 的 页 面 并 把 错误 定位 到 元 素 的 级 别 ， 而 非 页 面 级 
All « 

奇异 点 〈 奇 异 点 这 个 术语 描述 了 计算 机 超越 了 人 类 智能 的 时 刻 ， 这 
想必 非常 有 趣 ， 当 今世 界 已 经 开始 见 到 一 些 未 来 科技 的 浮 光 护 影 ， 参 见 
http://en.wikipedia.org/wiki/Technological_singularity) : bot 的 起 源 ( 作 





者 : Jason Arbon ) 


在 外 部 布局 的 测试 过 程 中 ， 我 们 发 现 ， 相 对 
于 截屏 做 一 个 哈 希 这 种 测试 方法 , 通过 像 浏 
览 器 一 样 解 析 网 页 可 以 实现 更 加 精确 的 布 
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A 图 3.33 早期 的 WebKit 布 局 测试 使 用 完整 页 面 布局 的 哈 希 值 。 现 在 我 们 可 以 测试 完整 的 页 面 并 
把 错误 定位 到 元 素 的 级 别 ， 而 非 页 面 级 别 


很 久 以 前 ， 在 一 个 遥远 的 Google 办 公 室 里 ..…..Chrome 还 处 于 第 一 个 
版 本 。 看 着 最 早 进来 的 数据 ， 我 们 意识 到 Chrome 存 在 比较 多 的 问题 ， 




















它 泻 染 网 页 的 方式 与 Firefox 有 很 大 不 同 。 屠 时， 测量 这 些 差 异 的 方法 限 
于 跟踪 用 户 报 告 问题 的 数量 ， 看 有 多 少 用 户 在 试用 之 后 选择 季 载 时 抱 钨 
了 兼容 性 问题 。 

我 开始 思考 是 否 存在 一 种 可 重复 的 、 上 自动 化 的 、 可 量化 的 方式 来 测 
量 Chrome 的 表现 。 之 前 ， 很 多 人 已 经 党 试 过 上 自动 比较 不 同 浏览 器 上 的 
网 页 快照 的 方法 ， 一 些 人 甚至 尝试 使 用 高 深 的 图 像 和 边缘 检测 技术 来 精 
确 识 别 泻 染 的 不 同 之 处 ， 但 这 些 努 力 经 常 以 失败 告终 ， 原 因 是 这 种 方法 
发 现 的 不 同 之 处 仍然 是 海量 的 一 一 想 想 那 些 广 告 、 内 容 变 化 等 。 基 本 的 
WebKit 布 局 测试 ， 只 是 使 用 网 页 整体 布局 的 一 个 哈 希 值 来 做 比较 《〈 见 图 
3.33) 。 即 使 在 发 现 了 一 个 真正 的 问题 时 ， 到 底 是 什么 地 方 出 了 问题 ， 
仍然 晤 无 头绪 ， 因 为 只 有 一 张 稚 图 可 供 参 考 。 太 多 的 误 报 ( 误 报 是 由 于 
测试 本 身 导 致 的 失败 ， 而 非 真 正 的 产品 问题 。 误 报 带 来 的 成 本 会 很 高 ， 
并 且 可 能 激怒 工程 师 ， 由 于 增加 了 徒劳 无 功 的 分 析 而 急剧 降低 生产 率 ) 
反而 增加 了 工程 师 的 工作 量 。 

我 的 思绪 不 断 回 到 从 前 那个 简单 的 ChromeBot 工 具 。 我 们 利用 了 数 
据 中 心 的 空闲 机 器 周期 ， 在 成 千 上 万 的 虚拟 机 上 启动 大 量 的 Chrome 浏 
览 器 ， 去 怜 取 成 百 上 于 万 的 URL， 目 标 是 发 现 各 种 可 能 的 衣 溃 问题。 这 
个 工具 很 有 价值 ， 因 为 它 可 以 捕获 骨 尝 ， 并 在 后 期 增加 一 些 浏览 器 交互 
的 功能 测试 。 然 而 ， 最 后 它 光 芒 尽 失 ， 因 为 朋 尝 性 问题 越 来 越 少 已 经 很 
罕见 了 。 假 设 我 们 增强 其 功能 ， 与 页 面 本 映 交 互 ， 而 不 是 只 会 给 
Chrome 施 压 ， 结 果 会 怎么 样 呢 ? 

于 是 ， 我 考虑 了 一 个 不 同 的 做 法 : RADOM (DOM 指 Document 
Object Model 一 一 文档 对 象 模型 ， 是 页 面 背 后 HTML 的 内 部 表示 ， 包 含 
了 表示 按钮 、 文 本 域 、 图 像 等 的 所 有 小 对 象 ) 。 我 用 一 周 的 时 间 做 了 一 
个 小 实验 ， 逐 一 加 载 多 个 网 页 ， 通 过 JavaScript 脚 本 注入 构造 出 网 页 的 内 
部 结构 网 。 

当时 ， 有 很 多 聪明 人 对 此 方法 表示 了 高 度 怀 疑 ， 他 们 泼冷水 的 部 分 



































理由 如 下 。 

“ 告 不 停 的 变化 。 

CNN.com 等 的 网 站 内 容 不 停 的 变化 。 

浏览 器 特定 的 代码 导致 页 面 在 不 同 的 浏览 占 里 有 不 同 的 渲染 。 

浏览 器 本 里 的 bug 导 致 显示 上 的 差异 。 

这 样 的 工作 需要 惊人 的 数据 量 。 

这 上 听 起 来 像 是 一 个 开心 挑战 赛 。 如 果 我 失败 了 ， 好 吧 ， 我 会 失败 得 
悄 无 声 妃 。 之 前 我 曾经 在 其 他 搜索 引擎 工作 过 ， 因 此 我 可 能 是 过 度 坚 定 
的 认为 信号 可 以 从 噪声 里 提取 出 来 。 我 意识 到 这 件 事情 几乎 没有 内 部 竞 
争 。 我 开始 低调 的 推进 。 在 Google， 数 据说 了 算 。 我 想得到 数据 。 

在 实验 中 ， 我 需要 可 用 来 做 比较 的 对 照 数 据 。 最 好 的 资源 是 实地 测 
试 人 员 。 这 方面 的 日 常 工作 是 由 外 包 人 员 完 成 的 ， 他 们 用 Chrome 和 
Firefox 访 问 500 个 无 右 的 最 大 网 站 ， 人 工 碍 找 区 别 〈EFirefox 被 用 作 基 
准 ， 因 为 它 更 符合 HIML 标 准 ， 很 多 网 站 都 有 正 特 定 的 代码 ， 在 Chrome 
中 的 泻 染 欠 佳 ，。 我 跟 两 个 负责 此 事 的 最 好 的 工程 主管 进行 了 交谈 。 他 
们 告诉 我 ， 起 初 有 接近 50% 的 网 站 存在 问题 ， 但 是 后 来 就 逐渐 好 转 ， 一 
直到 不 常 发 生 一 一 这 个 数字 已 经 低 于 5% 了 。 

接着 ， 我 用 WebDriver (下 一 代 Selenium) 完成 了 实验 。WebDriver 
有 更 好 的 Chrome 文 持 和 更 好 的 API。 在 第 一 次 运行 中 ， 我 使 用 了 从 早期 
开始 一 直到 最 新 的 各 种 Chrome 版 本 来 收集 数据 ， 并 观察 每 台 机 器 上 的 
趋势 图 是 否 相 似 。 它 只 是 简单 的 加 载 相 同 的 网 站 ， 在 每 个 像素 点 上 ， 检 
碍 相应 的 HTML 元 素 (不 是 RGB E) 是 否 可 见 《〈《 只 是 对 一 个 800x1000 
的 网 页 区 域 用 getElementFromPoint(x,y) 获 得 元 素 ， 然 后 取 所 有 元 素 的 一 
个 哈 希 值 。 存 在 更 高 效 的 方法 ， 但 这 个 比较 简单 ， 用 于 演示 足够 了 ) ， 
并 把 数据 发 送 到 服务 器 。 实 验 运 行 在 我 自己 的 桌面 机 上 ， 大 概要 运行 12 
个 小 时 ， 因 此 我 选择 了 通宵 运行 。 

第 二 天 出 来 的 数据 看 上 去 不 错 ， 因 此 我 把 Chrome 换 成 Firefox 重 新 执 





























行 了 一 人 帝 。 是 的 ， 的 确 有 网 站 内 容 变 化 带 来 的 拌 动 ， 但 这 只 是 试 着 看 一 
下 数据 的 概貌 ， 以 后 我 们 会 并 发 运行 的 。 接 下 来 的 那天 的 早上 ， 我 来 到 
办 公 室 ， 发 现 自己 的 windows 机 器 被 拔 掉 了 所 有 网 线 ， 并 被 防火 墙 隔离 
了 。 更 早上 班 的 隔壁 的 同事 用 一 种 奇怪 的 眼光 看 着 我 ， 说 恐怕 我 得 去 跟 
安全 部 门 的 人 喝 咖啡 了 。 我 只 能 猜测 发 生 了 什么 事情 。 事 实 上 ， 昨 晚 我 
的 机 器 中 招 了 ， 被 无 名 病毒 感染 ， 然 后 发 作 了 一 夜 。 安 全 人 员 问 我 是 否 
需要 在 他 们 毁 掉 人 硬盘 之 前 拿 走 数据 。 幸 好 我 有 云 存 储 ， 我 告诉 他 们 可 以 
拿 走 整 台 机 器 。 在 这 之 后 ， 我 把 任务 放 到 了 外 部 的 虚 机 上 。 

数据 跟从 TE 那里 听 来 的 很 一 致 ， 如 图 3.34 所 示 。 机 器 在 48 小 时 内 完 
全 独立 的 产生 的 数据 ， 跟 人 工 测 试 大 概 一 年 得 出 的 结论 惊人 的 一 致 。 
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A [13.34 早期 数据 显示 了 bot 和 人 工 在 质量 测定 上 的 相似 性 
数据 令 人 振奋 。 几 天 的 编码 和 单机 两 晚 的 执行 貌似 项 得 上 多 个 测试 


人 员 超 过 一 年 的 工作 。 我 拿 着 这 个 数据 找到 了 总 监 〈 不 具体 点 名 是 谁 
了 )〉， 他 先 表示 这 个 东西 的 确 很 拉 风 ， 然 后 就 建议 我 把 精力 集中 在 已 经 
进行 了 更 久 的 其 他 实验 上 。 我 的 反应 是 很 Google 式 的 : 表面 同意 ， 但 私 
底下 一 切 照 上 日 。 那 个 夏天 我 们 有 两 个 非常 能 干 的 实习 生 ， 他 们 就 被 安排 
来 进行 这 个 工具 的 产品 化 ， 包 括 实 现 更 好 的 视图 去 做 页 面 比 较 的 可 视 
化 。 他 们 还 测量 了 运行 时 事件 的 不 同 。 到 夏季 结束 时 ，Eric Wu 和 Elena 
Yang 演 示 了 他 们 的 工作 ， 结 末 是 一 炮 打 啊 ， 每 一 个 人 变 成 了 拥护 者 ， 认 
为 这 件 事情 大 有 前 途 。 

Tejas Shah 大 受 鼓 舞 ， 在 实习 生 离 开 之 后 ， 他 召集 了 一 个 工程 团队 
接手 了 这 个 实验 并 进行 了 产品 化 。 











bot: 从 一 个 人 的 赌注 到 web 级 的 产品 (作者 : Tejas Shah) 





我 现在 是 bot 项 目的 技术 主管 ， 工 作 重点 是 使 bot 上 共有 整个 web 的 可 
扩展 性 并 在 世界 范围 内 分 享 。bot 已 经 从 早期 实验 发 展 成 为 一 个 完全 正 
式 的 项 目 ， 并 在 Google 多 个 团队 使 用 。 

那 是 在 2010 年 年 末 ， 我 正 忙 于 一 个 Chrome 自 动 化 框架 (也 称 为 
SiteCompat)。 这 个 框架 使 用 定 癌 的 JavaScript 测 试 ， 目 动 地 发 现 知名 站 
点 在 Chrome 浏 览 器 上 的 功能 性 问题 ， 例 如 ， 上 自动 验证 “google.com” 上 的 
搜索 功能 、 在 每 一 个 Chrome 版 本 上 查看 CNN 的 一 篇 文章 。 效 果 非 常 
好 ， 不 但 抓 到 了 一 些 回 归 问 题 ， 还 增加 了 网 站 运行 时 行为 的 自动 化 功能 
检查 。 

几乎 是 在 同一 时 间 ，Jason 的 实习 生 们 正在 开发 这 个 超 酷 的 bot 项 目 
的 演示 版 。 我 一 直 对 他 们 的 进展 保持 关注 ， 他 们 的 最 终 演 示 彻 底 改 变 了 
我 对 网 站 验证 的 认 知 和 方法 。 当 我 看 到 Elena 的 演示 数据 时 ， 我 完全 被 
征服 了 。 我 意识 到 这 可 以 从 根本 上 改变 web 测 试 的 方法 。 我 的 脚本 测试 
很 重要 ， 但 不 具有 高 度 可 扩展 性 ， 需 要 不 断 的 维护 。bot 则 意味 着 更 加 











通用 的 东西 。 我 立刻 怠 深 陷 其 中 难以 自拔 了 。 实 习 生 就 要 离开 了 ， 大 家 
都 知道 这 些 代码 不 过 是 演示 性 的 ， 要 把 它 变 成 核心 架构 平台 的 一 部 分 并 
具有 web 范 围 的 可 扩展 性 ， 还 需要 大 量 的 工作 。 

起 初 ， 我 是 bot 项 目 上 唯一 的 工程 师 。 那 时 ，bot 仍 然 被 认为 是 实验 
性 的 ， 很 多 人 仍然 感到 这 是 一 个 “不 可 能 的 任务 ”。 但 我 坚信 自己 可 以 做 
到 。 

有 一 段 时 间 我 一 个 人 工作 ， 借 此 避 开 那些 质疑 的 眼神 。 这 种 状态 持 
续 了 大 概 一 个 季度 。 要 知道 ， 工 作 量 还 是 比较 大 的 ， 要 处 理 的 问题 包括 
可 扩展 性 、 性 能 、 打 分 机 制 和 不 同 页 面 的 可 用 性 等 。 在 这 些 问 题 被 妥善 
FER ZA, ABEIVEATHTIN. BAHL, EC/ T RH 
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由 ， 保 护 我 通过 了 绩效 考核 中 的 怀疑 和 质询 。 

接 下 来 ， 我 们 给 Chrome 团队 的 工程 总 监 做 了 一 次 演示 。 他 非常 喜 
欢 这 个 想法 ， 认 为 当然 应 该 用 起 来 ， 并 决定 将 bot 的 结果 纳入 Chrome 的 
日 常 测试 工作 中 。 这 个 认可 非常 重要 ， 使 我 信心 大 增 。 我 还 意识 到 ， 如 
R Chrome 团队 能 用 它 来 解决 珊 及 整个 web 的 困难 的 质量 问题 ， 那 对 任 
意 网 站 也 应 该 有 用 。 

此 后 我 们 接二连三 地 在 许多 内 部 团队 进行 了 演示 ， 看 到 这 个 演示 的 
每 一 个 人 都 希望 能 在 自己 的 团队 使 用 bot， 这 印证 了 我 们 希望 把 它 用 于 
所 有 web 应 用 的 梦想 是 靠 谱 的 。 又 一 个 季度 过 去 了 ， 我 已 经 可 以 生成 
Chrome Canary 上 厂 本 的 趋势 曲线 和 得 分 了 。 现 在 ，bot 不 仅仅 是 一 个 早期 
预警 系统 ， 它 还 能 在 项 目 早期 发 现 真 正 的 bug， 并 提供 精确 得 多 的 关于 
失败 的 数据 供 开 发 者 参考 。 我 最 得 意 的 bug 是 在 bot 的 首次 正式 上 线 运行 
发 现 的 ， 这 次 运行 比较 了 两 个 每 日 构建 。bot 在 Apple 的 一 个 开发 者 修 
改 了 一 个 WebKit ”属性 几 小 时 后 发 现 了 一 个 问题 。 这 个 特性 有 单元 测试 
用 例 ， 但 只 有 bot 隶 住 了 这 个 问题 ， 因 为 它 测试 的 是 真正 的 网 页 。 























我 的 团队 经 常 在 演示 之 后 被 问 道 , “我 是 不 是 很 快 就 可 以 抛弃 手工 
测试 了 ?*” 管 案 当然 是 否定 的 。 意 义 在 于 ， 他 们 现在 能 去 做 本 该 做 的 事 
情 了 : 需要 开动 脑筋 的 探索 式 测试 、 风 险 分 析 、 关 注 用 户 等 。 

Chrome 的 成 功 故事 使 我 们 得 到 了 更 多 的 预算 和 资源 。 现 在 ， 有 几 
个 工程 师 在 负责 bot 的 改进 。 同 时 ， 我 们 还 被 邀请 去 帮助 搜索 团队 ， 他 
们 正在 发 布 一 个 新 的 很 酷 的 称 为 nstant Pages 特 性 。 由 于 它 需 要 Chrome 
运行 在 不 同 的 模式 ， 我 们 花 几 周 时 间 实 现 了 一 个 定制 的 bot。 在 这 个 工 
有 具 的 帮助 下 ， 他 们 得 以 满怀 信心 的 发 布 产 品 了 ， 因 为 他 们 知道 将 来 的 所 
有 变化 都 会 被 自动 测试 到 。 

我 对 TE 的 建议 : 如 果 你 相信 一 件 事 情 ， 把 它 做 出 来 ! 我 对 管理 层 
的 建议 : 给 这 些 工程 师 留 一 些 自由 呼吸 和 实验 的 空间 ， 他 们 会 给 业务 和 
各 pem e 





3.2.9 BITES: ZS 


BITEfV Browser Integrated Test Environment (浏览 器 集成 测试 环 
境 ) ， 目 标 是 把 尽 可 能 多 的 测试 活动 、 测 试 工具 和 测试 数据 集中 到 浏览 
器 和 云 里 ， 并 在 上 下 文中 呈现 相关 信息 ， 从 而 减少 分 散 操作 的 及 烦 ， 使 
得 测试 工作 更 高 效 。 测 试 人 员 相 当 多 的 时 间 和 精力 都 消耗 在 这 种 事情 上 
Ja 

与 战斗 机 飞行 员 类 似 ， 一 个 测试 人 员 的 很 多 时 间 花 在 了 上 下 文 切换 
和 分 析 大 量 数据 上 。 测 试 人 员 经 常 要 打开 多 个 标签 页 : bug 数据 库 、 产 
品 邮 件 组 或 讨论 组 的 电子 邮件 、 测 试用 例 管 理 系统 、 电 子 表格 或 测试 计 
划 。 测 试 人 员 需 要 不 断 的 在 这 些 标 签 页 之 间 跳 来 跳 去 。 看 上 去 我 们 对 效 
率 有 点 担心 过 度 了 ， 但 实际 上 有 一 个 更 大 的 问题 不 容 忽 视 ， 那 就 是 测试 
人 员 在 测试 过 程 中 无 法 看 到 有 价值 的 上 下 文 信息 。 

因为 无 法 确定 合适 的 关键 词 去 查 重 ， 测试 人 员 浪 费时 间 填 写 了 重复 




















的 bug。 

因为 担心 查 重 的 朵 烦 ， 测 试 人 员 王 脆 不 去 报告 明显 的 bug。 

并 不 是 每 个 测试 人 员 都 了 解 那 些 有 助 于 后 续 的 bug triage GRE: 开 
发 、 测 试 、 产 品 一 起 评估 bug) 和 开发 排 错 的 相关 调试 信息 ， 很 多 都 是 
隐藏 起 来 的 。 

手工 输入 重 现 步骤 、 调 试 信息 、 错 误 之 处 等 工作 颇 为 耗 时 ， 浪 费 了 
大 量 的 时 间 和 精力 ， 消 磨 了 TE 的 创造 力 ， 导 致 他 们 无 法 集中 精神 、 全 
力 以 赴 地 去 发 现 bug。 

BITE 上 旨 在 解决 这 些 问题 ， 使 工程 师 的 注意 力 集 中 在 实 实在 在 的 探 
索 式 测试 和 回归 测试 ， 而 不 是 流程 和 技术 性 细节 。 

现代 咀 气 式 战斗 机 通过 平视 显示 器 (Heads Up Displays - HUDs) 
解决 了 信息 量 过 大 的 问题 。HUDs 整合 信息 并 置 于 上 下 文中 ， 著 加 在 飞 
行 员 的 视野 上 上。 类似 从 螺旋 奖 驱 动 的 航空 器 过 渡 到 喷气 式 飞 机 ，Google 
发 布 软件 新 版 本 的 频率 很 快 ， 这 增加 了 数据 量 和 快速 决策 的 收益 。 类 似 
HUDs， 我 们 在 回归 测试 和 手工 测试 中 都 采用 了 BITE。 

BITE 实现 为 一 个 浏览 器 插件 ， 这 样 就 能 跟踪 测试 人 员 的 活动 并 深 
入 分 析 Web 应 用 (DOM) 了 ， 如 图 3.35 所 示 。 而 且 ， 这 还 带 来 了 一 致 
的 用 户 体 验 ， 通 过 工具 条 快速 访问 数据 ， 同 时 将 数据 琶 加 显示 在 Web 应 
用 上 ， 就 像 HUD 一 样 。 

让 我 们 基于 一 些 真实 的 web 应 用 来 理解 这 些 实验 性 功能 。 



































A 图 3.35 BITE 扩 展 的 弹 窗 


1. 用 BITE 报 告 bug 

当 在 测试 或 者 内 部 试用 一 个 Web 应 用 时 发 现 了 一 个 bug， 测 试 人 员 
可 以 点 击 ” Chrome 扩展 图 标 ， 然 后 选择 页 面 的 哪 一 部 分 有 错 。 与 Google 
Feedback 类 似 ， 测 试 人 员 可 以 高 亮 存在 问题 的 页 面部 分 ， 然 后 一 键 完成 
bug 的 自动 提交 。 测 试 人 员 可 以 添加 一 些 描 述 ， 但 是 绝 大 部 分 重要 的 但 
填写 起 来 很 乏味 的 信息 已 经 被 自动 的 拿 到 了 : URL、 页 面 上 出 问题 的 元 
素 〈 或 文本 ) 、 截 屏 。 对 那些 深度 文 持 的 Web 应 用 ， 工 具 还 能 自动 地 
提取 出 应 用 特定 的 调试 URL， 以 及 有 助 于 在 此 页 面 中 进行 调试 的 信息 。 

例如 ， 测 试 人 员 在 “maps.google.com” 上 搜索 “Google offices”， 但 是 
看 到 了 一 个 貌似 无 关 的 搜索 结果 : the White House。 测 试 人 员 只 需要 简 
单 的 点 击 BITE 的 “Report Bug” 沫 单 按 钮 。 接 着 ， 他 就 可 以 用 一 个 特别 的 
光标 来 选择 他 认为 有 问题 的 页 面部 分 : 这 里 是 第 ”4 个 搜索 结果 ， 如 图 
3.36 所 示 。 他 也 可 以 选择 页 面 上 的 任何 一 个 控件 、 图 像 或 map tiles, VI 








及 单词 、 链 接 或 是 图 标 。 
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A 图 3.36 在 BITE 中 无 关 的 搜索 结果 (the White House) 以 黄色 高 亮 

点 击 高 亮 部 分 之 后 ， 在 该 页 面 上 会 直接 弹出 一 个 bug 提 交 表 单 ， 如 
图 3.37 所 示 ， 无 须 切换 标签 页 。 测 试 人 员 可 以 输入 一 个 简短 的 标题 然后 
直接 点 击 Bug it 立即 提交 ， 或 者 增加 更 多 的 信息 。BITE 会 自动 完成 一 些 
很 酷 的 事情 ， 使 得 后 续 的 bug triage 和 调试 容易 得 多 。 绝 大 多 数 的 测试 人 
员 没 有 时 间 填 写 这 些 东西 ， 因 为 这 需要 花 不 少 工夫 ， 导 致 他 们 从 实际 测 
试 分 心 。 

(1) 目 动 截图 ， 保 存 为 bug 的 附件 。 

(2) 高 亮 元 素 的 HTML 被 附加 到 bug。 

(3) 从 打开 “maps.google.com” 开 始 的 所 有 动作 都 会 被 录制 下 来 ， 
保存 为 一 份 JavaScript 脚 本 ， 将 来 可 以 回放 以 重 现 bug。 脚 本 链接 会 附加 
到 bug 上 ， 开 发 人 员 可 以 在 自己 的 浏览 器 里 观看 回放 ， 如 图 3.38 所 示 。 
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A [3.37 BITE: 页 面 内 网 的 bug 表 单 


(4) Map 特 定 的 调试 URL 被 自动 地 附加 到 bug 上 ， 因 为 网 页 本 身 的 
URL 没 有 足够 的 信息 用 于 完整 的 重 现 。 
(5) 所 有 浏览 器 和 OS 信息 被 附加 到 bug。 
这 一 切 成 束 了 bug 的 快速 提交 ， 并 且 提 交 到 数据 库 中 的 bug 有 足够 
多 的 信息 用 于 安排 优先 级 。 
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pt 
* @fileoverview This is an auto-generated test on maps.google.com 
* The generated commands are in the format of 

* ACTION(ELEMENT, OPT TEXT); 

* @author phu@google.com 

"| 


// Searches “google offices" on Google map 
type(getElem(' type-input-291"). ContentMap[INPUTB-603 ) 
click(getElem("click-button-7 10")); 


click(getElem("click-div-724")) 


4 图 3.38 BITE: 测试 过 程 中 录制 的 JavaScript 





BITE 对 Maps 产 生 的 影响 


目前 ，Googler 使 用 BITE 给 “maps.google.com” 提 交 bug。Google 
maps 的 bug 不 容易 重 现 ， 因 为 它 的 很 多 应 用 状态 没有 表达 在 URL 
中 ， 而 且 后 端 数据 一 直 在 变化 。 用 户 在 maps 中 浏览 、 放 大 缩小 的 状 
态 都 不 会 记录 。 有 了 BITE 的 文 持 ， 负 责 安排 优先 级 的 产品 经 理 欣 
喜 若 狂 地 把 它 推 广 到 更 大 的 GEO 团 队 ， 现 在 ， 随 便 哪 个 Googler 提 
交 的 bug 的 水 平 都 可 与 专业 的 maps 测 试 人 员 相 匹 敌 了 。 这 加 速 了 bug 
triage 过 程 ， 更 多 的 bug 可 以 重 现 和 调试 了 了， 之 前 它们 可 能 会 被 标记 
为 “不 可 重 现 ”。 





2. 使 用 BITE 查 看 bug 

当 测 试 人 员 探索 一 个 应 用 或 运行 回归 测试 的 时 候 ， 页 面相 关 的 bug 
会 自动 浮现 出 来 。 这 有 助 于 测试 人 员 判 断 bug 是 否 重复 ， 或 者 已 经 发 现 
了 哪些 bug， 从 而 了 解 应 用 的 这 一 部 分 质量 如 何 。 

BITE 会 显示 内 部 bug 数 据 库 和 chromium.org issue ”tracker 来 的 所 有 
bug， 外 部 开发 者 、 测 试 人 员 和 用 户 都 可 以 给 Chrome 报 告 bug。 

浏览 器 上 BITE 图 标 和 旁边 的 数字 表示 可 能 与 当前 网 页 有 关 的 bug 的 数 
量 。 从 BITE 提 交 的 bug 附 有 很 多 数据 ， 包 括 有 问题 的 网 页 区 域 ， 因 此 很 
容易 把 这 些 bug 统 计 在 内 。 对 那些 用 老 的 方式 提交 的 bug， 包 括 issue 
tracker 和 Buganizer， 我 们 有 一 个 爬虫 程序 检查 每 个 bug， 寻 找 可 以 用 来 
做 页 面 匹 配 的 URL， 按 照 匹 配 程度 排序 。 例 如 ， 完 全 匹配 的 排 在 最 前 
面 ， 然 后 是 匹配 路 径 的 ， 最 后 是 只 匹配 URL 域 的 。 原 理 很 简单 ， 但 十 分 
有 效 。 

图 3.39 显 示 了 一 个 过 加 了 BITE ”bug 数 据 的 地 图 页 面 的 外 观 。 点 击 
bug IDs 可 以 打开 Buganizer 或 issue tracker 中 的 完整 的 bug 报 告 页面 。 图 
3.40 显 示 了 YouTube 上 的 一 个 bug 辣 加 显示 。 

3. 使 用 BITE 进 行 录制 和 回放 

SET 和 TE 的 大 量 时 间 人 花费 在 开发 大 型 的 、 端 到 端的 回归 测试 用 例 
的 自动 化 上 。 这 些 测试 非常 重要 ， 因 为 它们 用 来 确保 最 终 用 户 可 以 正当 
地 使 用 产品 的 各 项 功能 。 绝 大 多 数 是 用 Java 编 写 的 ， 使 用 Selenium 来 驱 
动 浏览 右 和 表示 测试 用 例 多 辑 。 但 这 个 方法 有 一 些 弱 点 。 

测试 逻辑 是 用 与 所 测试 的 应 用 不 同 的 语言 来 编写 的 〈Java 
vs.JavaScript) 。 这 是 Google 的 开发 和 测试 一 直 抱 怨 的 一 个 共同 问题 。 
它 拖 慢 了 调试 ， 而 且 不 是 每 个 工程 师 都 想 学 习 所 有 语言 的 。 
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署 。Matrix 测试 自动 化 平台 可 以 集中 管理 这 些 事情 ， 但 并 不 能 完全 的 解 
决 问题 。 

你 需要 在 浏览 器 和 本 地 应 用 之 外 ， 另 行 安 装 一 套 IDE 并 为 要 测试 的 
项 目 做 好 配置 。 

TE 花 费 了 大 量 时 间 在 应 用 的 DOM 和 Eclipse IDE 之 间 跳 来 跳 去 。 他 
们 先 确 定 相关 元 素 的 XPaths， 再 把 它 写 入 Java 代 码 里 。 编 译 、 运 行 、 看 
结果 。 这 耗 时 费力 ， 令 人 厌倦 。 

Google 的 web 应 用 频繁 地 更 改 DOM。 这 意味 着 测试 用 例 随 着 元 素 
在 页 面 中 的 移动 和 属性 的 变化 而 不 断 失 败 。 过 不 了 多 久 ， 测 试 团 队 就 得 
花 不 少时 间 来 维护 现 有 的 测试 。 这 些 误 报 会 导致 开发 和 测试 最 终 失 去 耐 
心 ， 和 干脆 忽略 测试 结果 ， 并 把 它们 标记 为 异常 以 便 不 会 妨碍 代码 的 提 
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作为 回应 ， 我 们 实现 了 一 个 称 为 Record and Playback 
framework (RPF) 的 纯 wWeb 的 解雇 方案， 是 用 纯 JavaScript 实现 的 ， 并 
将 测试 用 例 脚 本 保存 在 云端 。RPF 甚至 可 以 在 不 文 持 Selenium 和 
WebDriver 测 试用 例 执 行 的 Chrome OS 上 运行 。 

录制 一 个 测试 ， 只 要 简单 的 点 击 BITE 浏 览 器 菜单 中 的 Record and 
Playback， 一 个 新 的 录制 对 话 框 束 会 出 现 。 当 按 下 录制 按钮 时 ， 这 个 对 
话 框 就 开始 记录 浏览 器 主 视窗 中 的 所 有 点 击 动作 。 女 标 右 击 任意 元 素 开 
启 验 证 模式 ， 测 试 人 员 可 以 验证 某 个 特定 字符 串 、 图 像 或 元 素 的 值 。 验 
证 还 可 以 是 某 个 元 素 的 存在 及 其 在 页 面 上 的 相对 位 置 。 相 对 位 置 对 
YouTube 团 队 很 有 用 ， 因 为 他 们 不 总 是 知道 哪个 视频 应 该 出 现在 主页 
上 ， 但 他 们 可 以 确定 总 的 页 面 布 局 是 什么 样 的 。 

RPF 方 法 的 一 个 核心 设计 理念 ， 是 旨 在 避免 查看 应 用 的 DOM 和 在 发 
生变 化 时 重新 计算 元 又 的 XPaths 的 痛 兰 。 我 们 精心 实现 了 能 俘 止 测试 的 
代码 。 如 有 果 它 在 回放 时 无 法 找到 某 个 元 素 ， 它 就 会 暂停 ， 人 允许 TE 简单 
地 选择 新 的 元 素 ， 然 后 自动 地 更 新 脚本 并 继续 执行 。 团 队 还 实现 了 我 们 




















称 之 为 “放松 式 执行 (relaxed execution) ”的 功能 。 简 单 地 说 ，RPF 不 是 
严格 地 判断 某 个 元 素 是 否 与 期 望 的 XPath 匹配 ， 而 是 去 检查 此 HTML 元 
素 的 所 有 属性 及 其 父 、 子 元 素 。 在 回放 的 时 候 ，RPF ”首先 查找 精确 下 
配 ， 在 找 不 到 的 情况 下 查找 近 似 匹 配 。 也 许 ID 属性 改变 了 了 ， 但 其 余 都 是 
相同 的 。 回 放 可 以 设置 为 任意 程度 的 匹配 精度 ， 如 果 匹 配 在 容 差 之 内 ， 
测试 就 继续 到 下 一 步 并 简单 地 记录 一 条 警告 日 志 。 我 们 希望 这 个 工作 可 
以 节省 工程 师 大 量 的 时 间 。 

我 们 首先 在 Chrome Web Store 测试 团队 试用 了 RPF， 大 约 90% 的 测 
试 场景 都 运行 正常 ， 主 要 的 例外 是 文件 上 传 对话 框 (浏览 器 之 外 的 本 地 
OS 文件 对 话 框 ) 和 Google ” Checkout 的 一 些 功 能 (出 于 安全 原因 ， 某 些 
涉及 钱 的 场景 无 法 通过 web API 目 动 化 ) 。 我 们 最 有 趣 的 发 现 是 TE 并 
不 怎么 关心 那个 拉 风 的 放松 匹配 或 pause-and-fix 特性 ， 因 为 重新 录制 测 
试 反 而 更 快 。 在 这 次 试用 中 ， 我 们 开发 了 两 套 测 试用 例 ， 一 个 是 
WebDriver 的 ， 一 个 是 RPF 的 。RPF 的 方案 生成 和 维护 测试 的 效率 比 
Selenium 和 WebDriver 高 出 7 倍 。 有 具体 数字 可 能 有 出 入 ， 但 这 是 一 个 不 错 
的 开始 。 

RPF 还 可 用 于 文 持 BITE 中 的 bug 提 交 场 景 。 对 于 某 些 站 点 来 说 ， 
BITE 会 自动 启动 录制 工程 师 的 活动 。 当 工程 师 发 现 一 个 bug 并 使 用 BITE 
来 提交 的 时 候 ，BITE 会 附加 一 个 指 同 生 成 的 重 现 脚本 的 链接 。 例 如 ， 
在 Maps 上 ， 它 会 录制 所 有 的 搜索 和 缩放 活动 。 查 看 bug 的 开发 者 可 以 点 
击 回放 ， 看 到 用 户 在 过 到 这 个 bug 的 时 候 做 了 哪些 事情 。 如 果 在 探索 式 
测试 或 在 正常 的 使 用 中 没有 提交 bug， 那 么 录制 的 脚本 会 被 直接 丢弃 
fi 





























带 RPF 的 BITE 的 起 源 〈 作 者 : Jason Barbon) 


在 早期 的 Chrome OS 测试 中 ， 我 们 意识 到 其 核心 特性 “安全 ”将 会 增 





加 测试 的 难度 。 可 测试 性 和 安全 经 常 是 互相 矛盾 的 ，Chrome OS 又 是 极 
端 地 重视 安全 。 

在 早期 版 本 ， 部 分 地 文 持 Java 虚 拟 机 ， 但 是 对 网 络 和 其 他 核心 库 的 
文 持 都 比较 弱 。 因 为 关键 的 用 户 体验 是 基于 Web 浏 览 的 ， 我 们 实现 了 一 
些 核心 的 Selenium 测 试 来 验证 Chrome OS 上 基本 的 浏览 器 功能 ， 以 为 内 
要 把 所 有 已 知 的 Selenium 测 试 移 植 过 来 进行 回归 运行 就 可 以 了 。 

基本 的 测试 完成 并 运行 起 来 ， 但 很 快 束 遇 到 了 Chrome 对 Selenium 
和 WebDriver 文 持 不 够 的 问题 。 假 期 归来 ， 我 们 发 现 Java 被 从 底层 的 
Linux OS 删 除了 ， 以 进一步 减少 Chrome 0OS 的 安全 风险 。 这 导致 基于 
Java 的 测试 无 法 运行 ， 我 们 只 好 安装 了 一 个 Java 的 定制 版 本 ， 但 这 也 并 
ERA G 

Google 有 名 名 言 “ 资 源 越 少 ， 目 标 越 明了 (scarcity brings 
clarity) ” 这 在 测试 领域 非常 的 明显 ， 尤 其 适用 于 我 们 目前 这 个 情况 。 
我 们 对 现状 加 以 评估 ， 意 识 到 这 个 方法 不 够 好 。 我 们 构建 包含 Java 的 
Chrome OS、 测 试 件 Gjar 文 件 ) 和 一 些 本 来 禁用 的 安全 特性 ， 然 后 运行 
测试 。 然 而 ， 这 与 交付 给 客户 的 真实 生产 环境 的 配置 是 不 同 的 。 图 3.41 
所 示 为 早期 Chrome OS 测试 自动 化 实验 室 的 一 张 照 厂 。 

我 们 很 快 就 想起 了 Po Hu OÈ: BITE 团 队 的 一 名 googler) 的 一 个 
则 在 通过 chrome 扩 展 使 用 JavaScript 进 行 网 页 目 动 化 的 工作 ， 这 也 许 是 一 
个 解决 方案 。 以 前 有 一 套 纯 JavaScript 的 类 似 WebDriver 的 API， 称 为 
puppet， 但 由 于 跨 站 点 限制 ， 它 必须 与 被 测试 的 web 应 用 部 署 到 一 起 。 
也 许 我 们 可 以 把 这 个 puppet 脚本 放 到 Chrome 扩 展 里 去 来 解决 跨 站 点 的 
问题 。 如 果 我 们 安 北 了 这 个 扩展 ， 并 把 所 有 测试 都 保存 到 云端 而 非 本 地 
文件 系统 ， 不 就 可 以 在 Chrome OS 上 执行 浏览 器 测试 了 吗 ? 甚 至 是 在 
从 商店 买 回 来 的 Chromebook 上 。 从 时 间 安 排 上 看 ，Chrome OS version 
1 赶不上 了 ， 但 工具 会 在 后 续 版 本 测试 前 完成 。 





























it 


A 图 3.41 早期 的 Chrome OS 测试 实验 


透露 一 点 花 保 ，BITE 差 点 命名 为 Web Test Framework， 简 称 WTF。 
RPF 原 名 Flux Capacitor， 因 为 它 可 以 将 你 带 到 未 来 (译注 : Flux 


Capacitor 是 科幻 电影 里 时 光 机 的 组 成 部 件 ) o 

4. 使 用 BITE 执 行 手工 和 探索 式 测试 

在 一 次 测试 中 多 个 测试 人 员 的 分 工 上 ，Google 党 试 了 很 多 种 方法 : 
通过 TestScribe 难 用 的 UI， 以 及 更 常见 的 电子 表格 的 形式 〈 手 工 建立 人 
员 和 所 负责 的 测试 用 例 的 对 应 关系 ) 。 

BITE 支 持 测 试 人 员 订 阅 Google Test Case Manager (GTCM) 中 多 个 
产品 的 测试 集 。 测 试 主管 在 安排 测试 时 ， 只 需要 在 BITE 服 务 堪 上 点 击 
一 个 按钮 ， 就 可 以 把 测试 用 例 通过 BITE 的 UX 推送 到 各 个 测试 人 员 。 
个 测试 都 有 一 个 关联 的 URL。 用 户 接 受 任务 之 后 ，BITE 会 打开 该 URL 
并 显示 要 在 当前 页 面 执行 的 测试 步骤 和 验证 。 运 行 结束 时 ， 单 击 标记 
PASS， 系 统 自 动 打 开 下 一 个 要 测试 的 URL。 如 果 测 试 失 败 ， 系 统 束 做 
FAIL 标 记 并 启动 BITE 的 bug 报 告 界面 。 

这 个 做 法 已 经 成 功 地 用 于 众 包 测 试 ， 外 包 测 试 人 员 在 安装 了 BITE 
的 浏览 器 中 执行 测试 ， 测 试 任务 的 分 发 通过 BITE 进 行 。 这 减轻 了 管理 
大 量 测试 人 员 和 固定 式 的 分 配 测试 任务 的 负担 。 测 得 快 的 测试 人 员 会 自 
动 地 收 到 更 多 的 测试 任务 ， 中 间 休 居 或 需要 停止 的 测试 人 员 ， 之 前 被 分 
配 的 任务 在 超时 之 后 会 被 推送 给 其 他 人 。BITE 也 已 经 被 用 于 驱动 探索 
式 测试 ， 每 个 高 层级 的 漫游 被 定义 为 一 个 测试 用 例 并 分 配 出 去 ， 测 试 人 
员 在 漫游 产品 时 直接 通过 BITE 提 交 bug。 

5.BITE 的 分 层 化 设计 

跟 所 有 软件 项 目 一 样 ， 我 们 也 考虑 了 可 扩展 性 。BITE 具 有 接受 任 
意 脚 本 并 注入 被 测试 页 面 的 能 力 。 知 干 分 层 业 已 形成 。 例 如 ， 其 中 一 个 
扩展 允许 开发 人 员 在 页 面 中 有 规律 地 和 剥离 元 素 以 便 定 位 问题 ， 还 有 一 个 
扩展 引入 安全 团队 脚本 的 工作 正在 进行 中 。 这 些 可 以 在 一 个 小 控制 台中 
打开 和 关闭 。 我 们 还 在 探索 哪些 层次 是 工程 师 所 需要 的 。 

BITE 努 力 满足 所 有 测试 人 员 的 各 种 需求 。 起 初 这些 特 性 都 是 各 自 
独立 的 扩展 ， 但 是 在 意识 到 整体 要 大 于 部 分 之 和 以 后 ， 我 们 着 手 进 行 整 




















合 ， 把 这 些 特性 都 集中 于 BITE 之 中 。 

跟 其 他 实验 一 样 ， 我 们 希望 能 在 不 久之 后 将 这 些 特性 开放 给 更 大 的 
测试 社区 。 

BITE 项 目 己 经 开源 〈 见 附件 C) 。Alexis ”O.Torres 是 前 技术 主管 ; 
Jason Stredwick 是 现任 技术 主管 ， 成 员 包 括 Joe Muharsky、Po Hu, 
Danielle Drew. Julie Ralph 和 Richard Bustamante。 他 们 在 工作 之 余 一 起 
完成 BITE 项 目 。 到 本 书写 作 之 时 ， 有 几 个 公司 已 经 将 BITE 移 植 到 他 们 
自己 的 平台 之 上 ， 同 时 FireFox 和 IE 的 移植 也 在 进行 中 。 


3.2.10 Google Test Analytics 


如 前 文 所 述 ， 风 险 分 析 极 端的 重要 ， 但 却 经 常用 各 种 私 制 的 电子 表 
格 来 实现 ， 或 者 更 糟 ， 仅 赁 拍 脑 袋 决 定 。 电 子 表 格 方式 存在 以 下 几 个 缺 
点 。 

各 种 私 制 的 电子 表格 格式 不 统一 ， 无 法 汇总 数据 ， 难 以 路 项 目 分 析 
和 比较 。 

一 些 简单 但 却 重 要 的 东西 如 ACC 中 的 4 分 制 的 评价 机 制 和 命名 方 
式 ， 在 这 些 电子 表格 中 有 时 会 被 裁剪 卸 。 

不 同 团队 之 间 的 工作 透明 性 十 分 有 限 ， 因 为 不 存在 一 个 中 心 库 ， 大 
家 只 是 按照 需 知 原则 进行 临时 性 的 分 享 。 

实现 风险 分 析 到 产品 指标 的 关联 所 需要 的 工作 量 很 大 ， 一 般 不 会 被 
电子 表格 文 持 。 

Google Test Analytics (GTA) 尝 试 解决 这 些 问 题 。GTA 是 一 个 方便 数 
据 输 入 和 风险 可 视 化 的 web 应 用 。GTA 的 UI 设计 结合 了 ACC 的 最 佳 实 
践 。 通 过 统一 数据 格式 ， 经 理 和 总 监 们 可 以 在 一 个 视图 中 看 到 各 种 产品 
的 风险 ， 易 于 定位 高 风险 领域 并 分 配 资源 。 

GTA 文 持 基 于 ACC 模型 的 风险 分 析 。 特 质 和 组 件 通 过 快 易 表单 输 























入 并 生成 一 个 表格 〈 见 图 3.42 和 图 3.43) 。 测 试 计 划 者 可 以 在 表格 的 交 
叉 点 添加 能 力 〈 见 图 3.44) 。 对 各 能 力 点 ， 只 需要 从 下 拉 列 表 中 选择 频 
率 和 影响 值 即 可 完成 风险 输入 。 这 些 数据 会 被 汇总 到 风险 视图 。 简 单 
的 ， 各 领域 的 总 风险 〈 见 图 3.45) 是 各 能 力 点 风险 的 平均 值 (是 的 ， 一 
个 高 风险 的 能 力 会 被 许多 其 他 很 低 风险 的 能 力 掩盖 住 。 这 并 不 经 常 友 
生 ， 但 GTA 秉 承 了 简单 的 设计 理念 ， 它 不 会 代 合 种 识 和 审慎 分 析 ) 。 
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Google test analytics 


Attributes are ways a marketer would describe your application, such as "Fast" or "Secure", 
Attributes in the ACC model allow you to map Capabilities to business requirements. Leam mor 
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new label 


C The tests performed for this attribute are sufficient to verify its operation. 


Expressive 


new label 


C The tests performed for this attribute are sufficient to verify its operation. 











Easy 


new label 


C The tests performed for this attribute are sufficient to verify its operation. 
Extensible 








new label 


C The tests performed for this attribute are sufficient to verify its operation. 
| Private 
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A 图 3.42 Test Analytics: 输入 Google+ 的 特质 


Google test analytics 


Components are the ‘moving parts’ of your application. Typically components are core libraries, data 
sources, parts of the code base, and so on. Learn more 





| + new label 


C The tests performed for this attribute are sufficient to verify its operation. 
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. C The tests performed for this attribute are sufficient to verify its operation. 





| C The tests performed for this attribute are sufficient to verify its operation. 








Capabilities by Attribute and Component 
Social Expressive Easy Extensible 
1 2 1 
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1 
1 
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| | | | c | aa 








- Additional users can be added to an existing hangout. x 


Name:* d Additional users can be added to an existing hangout. 


A 图 3.44 Test Analytics: 在 表格 的 交叉 点 输入 能 力 ， 注 意 计数 表示 能 力 点 的 数量 而 非 风险 
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Google test analytics 
s 


This shows the Total Risk to your application, taking into account any Risk Sou as well as 
Mitigation Sources that are checked below. Lear f 


@ Test coverage 


Risk displayed by Attribute and Component 





A 图 3.45 Test Analytics: Google+ 的 风险 热 图 

GTA 的 一 个 可 选 的 实验 性 的 功能 是 将 风险 计算 绑 定 到 真实 项 目 数 
据 。 随 着 测试 用 例 的 增加 、 代 码 的 增加 、 发 现 的 bug 数量 的 增加 ， 风 险 
评估 也 在 发 生变 化 。 作 为 TE， 我 们 总 是 在 脑子 里 跟踪 风险 的 变化 ;这 
不 过 更 加 系统 化 和 数据 驱动 。 测 试 计划 ， 甚 至 是 ACC/ 基 于 风险 的 ， 经 
第 推动 了 开始 的 计划 工作 ， 这 很 好 ， 但 很 快 就 变 成 死 文档 了 。 相 比 之 
下， 随 着 你 得 到 更 多 有 关 风 险 、 能 力 等 的 数据 GTA 是 随时 可 以 更 新 
的 ， 而 且 我 们 应 该 尽 可 能 地 去 自动 更 新 。 

GTA ”目前 只 支持 内 部 数据 库 的 绑 定 ， 通 用 化 的 工作 正在 进行 中 。 
在 GTA 中 ， 测 试 人 员 可 以 输入 各 能 力 点 的 bug 数 据 库 、 代 码 树 和 测试 用 
例 的 位 置 或 查询 。 在 Google， 大 家 都 使 用 相同 的 数据 库 ， 使 得 这 件 事 简 
早 易 行 。 随 着 这 些 指 标的 变化 ， 通 过 简单 的 线性 代数 来 更 新 风险 级 别 。 
目前 ， 这 个 功能 正在 几 个 应 用 团队 试用 。 

我 们 使 用 的 公式 随时 会 发 生变 化 ， 因 此 惑 不 在 这 里 公布 了 。 它 大 致 











是 对 风险 分 析 时 间 点 之 后 bug 的 数量 、 代 码 行 的 变化 、 测 试用 例 的 运行 
结 末 的 度量 。 风 险 的 各 个 变量 可 以 按照 项 目 差异 进行 调整 ， 因 为 一 些 团 
以 会 提交 更 细 粒 度 的 bug 或 容忍 更 高 的 代码 复杂 上 度 。 图 3.46、 图 3.47 和 图 
3.48 以 Google Sites 为 例 进行 了 展示 。 
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Enabling data providers will enable new ways to view Risk associated with your application. 
lowever, in order for those Risk views to work you must also begin uploading data to Google Test 

Analytics. Laam more 

Data source — 

( Buganizer €) Add data request 


Existing Requests 
Existing data requests will be continually imported by extemal tools. Leam more 


Buganizer x 


parameter $ 


Add 
Save | Cancel 
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A 图 3.46 Test Analytics: 链接 数据 源 到 风险 


Google test analytics 


[Sus —1) Sites-Tost 


Project Testcases 
The following testcases have been uploaded to your Google Test Analytics project. Learn more 


Component Capability 
^ * 
x * 
^ ^ 
* * 
^ * 
~ * 
^ x 
一 * 
^ * 
* * 
* x 
x * 
^ * 
^ x 
= x 
2 * 





A 图 3.47 Test Analytics: 链接 的 测试 
GTA 有 一 个 容易 被 忽视 但 却 非常 重要 的 特性 : 测试 人 员 可 以 很 快 地 
把 能 力 列 表 变 成 一 次 测试 执行 。 这 是 各 团队 要 求 的 最 多 的 一 个 功能 。 能 
力 包括 了 一 个 简单 的 概要 测试 用 例 列表 ， 在 软件 发 布 之 前 应 当 被 运行 。 
对 于 那些 较 小 的 或 探索 式 测试 为 主 的 团队 ， 例 如 Google ”Docs， 这 个 列 
表 作 为 一 个 测试 用 例 数据 库 完 全 够 用 了 。 
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Project Bugs 
The following bugs have been uploaded to your Google Test Analytics project. Leam more 
Showing 5482 Bugs 
Bug 


Attribute Component Capability 


Add logging to Deferred bl 
otxtok js reports Dojo Error [bl 
fbi 


Recall of Page with Revision Argument 
bindableArray.removeAt() not working (bl 
istco pone ite throws errors upo arsha i 
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x 
^ 
le 





A 图 3.48 Test Analytics: 链接 的 bug 


TE 可 以 使 用 GTA 中 这 些 测试 执行 背后 的 ACC 和 矩阵 来 分 配 测试 人 
员 。 测 试 人 员 传 统 上 按照 组 件 领域 来 分 派 ，ACC 则 提供 了 另外 一 种 有 用 
的 视角 一 一 按照 特质 进行 测试 。 安 排 人 手 负 责 某 个 路 产品 功能 特质 的 测 
试 ， 而 非 专 门 负责 某 个 组 件 的 测试 ， 我 们 已 经 获得 了 一 些 成 功 。 如 果 一 
个 人 被 安排 测试 Fast 特 质 ， 他 就 可 以 看 到 这 个 产品 所 有 相关 的 组 件 在 这 
次 测试 中 性 能 如 何 。 这 种 视角 有 助 于 我 们 发 现 那些 在 单独 测试 时 被 认为 
足够 快 ， 但 整体 看 却 相对 慢 的 组 件 。 

如 何 汇 总 跨 项 目的 风险 值得 一 说 。GTA 还 不 具备 该 能 力 ， 但 各 个 
项 目 应 该 有 自己 的 ACC 分 析 ， 风 险 的 评价 只 要 考虑 自身 即 可 ， 不 需要 考 
虚 相 对 于 其 他 产品 的 重要 性 。 然 后 ， 具 有 跨 多 个 产品 视野 的 人 ， 在 做 器 
项 目 风 险 的 汇总 时 ， 应 当 使 用 不 同 的 权重 系数 。 你 的 项 目 是 一 个 小 型 的 
只 有 几 个 工程 师 使 用 的 内 部 工具 ， 并 不 意味 着 你 不 可 以 在 ACC 评 估 时 给 
出 最 大 的 风险 值 。 把 相对 风险 评估 留 给 那些 有 路 项 目 视野 的 人 去 做 。 当 











对 一 个 产品 进行 风险 分 析 时 ， 不 妨 把 它 当 做 公司 的 唯一 产品 ， 这 样 ， 它 
总 会 有 最 大 影响 或 高 发 生 率 的 可 能 。 

我 们 期 望 能 公开 GTA， 并 在 不 久 后 开源 。 目 前 ，GTA 在 其 他 大 公司 
还 处 于 实地 测试 阶段 。 开 源 的 目的 ， 是 其 他 测试 团队 可 以 在 Google App 
Engine 上 运行 他 们 自己 的 实例 ， 或 者 移植 到 他 们 自己 运营 的 不 同 的 技术 
平台 上 。 

GTA 旨 在 使 风险 分 析 足 够 的 简单 和 实用 ， 以 便 人 们 能 够 真正 的 用 
起 来 。Jim Reardon 实 现 了 GTA 并 负责 维护 开源 代码 〈 见 附件 C) 。 到 此 
文 写 作 时 ， 其 他 大 型 的 云 测试 公司 正在 考虑 将 这 种 风险 分 析 方 法 集成 到 
他 们 的 核心 流程 和 工具 中 (Salesforce 是 其 中 之 一 ，Salesforce.com 的 Phil 
Waligora 正 在 考虑 将 此 集成 到 它 的 内 部 工具 体系 中 ) ， 多 达 200 名 外 部 
人 士 已 经 报名 使 用 托管 版 本 的 GTA。 











3.2.11 零 成 








Google 竭 尽 全 力 地 压缩 每 一 蝶 秒 啊 应 时 间 ， 使 系统 尽 可 能 地 高 效 以 
适合 规模 化 。Google 同 样 希望 免费 提供 产品 。TE ”对 于 工具 和 流程 的 态 
度 亦 然 。Google 要 求 我 们 高 瞻 远 瞩 ， 为 什么 不 挑战 一 下 将 测试 成 本 缩减 
到 近乎 为 零 的 理想 呢 ? 

如 果 我 们 可 以 使 测试 零 成 本 化 ， 小 公司 就 会 进行 更 多 的 测试 ， 而 创 
业 型 公司 也 至 少 会 做 一 点 测试 。 零 成 本 的 测试 意味 着 更 好 的 互联 网 ， 而 
更 好 的 互联 网 对 用 户 、 对 Google 来 说 都 更 美好 。 

下 面 是 关于 免费 测试 特征 的 一 些 想 法 。 

瞬间 可 得 的 测试 结 

极 少 或 者 无 需 人 工 干预 。 

非常 灵活 ， 因 为 没有 万 灵 丹 。 











我 们 将 此 志向 限制 在 web 领域 ， 以 使 问题 更 易 轨 驭 、 更 有 意义 ， 并 
与 Google 的 绝 大 多 数 项 目 一 致 。 我 们 的 想法 是 ， 如 果 可 以 先 把 Web 测试 
的 问题 解决 择 ， 到 成 功 之 日 ， 世 界 将 进入 云 的 世界 ， 我 们 驶 可 以 忽略 掉 
那些 类 似 驱 动 和 COM 的 先天 性 痛苦 了 。 我 们 知道 ， 如 果 设 定 了 免费 的 
目标 ， 即 使 结果 并 不 完美 ， 也 会 收获 一 些 有 趣 的 果实 。 

我 们 现 有 的 免费 模型 ， 极 大 地 减 小 了 测试 成 本 。 我 们 开始 在 自己 的 
实验 室 和 工程 项 目 中 受益 了 ， 如 图 3.49 所 示 。 这 种 测试 流程 的 要 点 如 
Ts 

(1) 通过 GTA 进 行 测 试 计划 : 基于 风险 的 、 快 速 的 、 可 以 自动 化 
更 新 的 。 

(2) 测试 履 盖 度 : 每 当 一 个 产品 部 署 了 新 版 本 ，bot 束 会 连续 抓 取 
Pi, ASIANA. AHA. bot 可 能 不 会 区 分 回归 和 新 特性 ， 但 它们 
可 以 发 现 所 有 变化 并 交 给 人 工 去 做 旬 选 。 

(3) bug 评 审 : 当 产 品 的 差别 被 发 现时 ， 它 们 会 被 自动 的 转 给 人 工 
去 做 快速 判断 。 是 回归 还 是 新 特性 ? 在 进行 差别 检查 时 ，BITE 可 以 提 
供 现 有 的 bug 和 丰富 的 测试 上 下 文 信息 。 

(A) 探索 式 测试 : 频繁 的 探索 式 测试 由 外 包 测 试 人 员 和 早期 用 户 
执行 。 这 会 捕捉 到 与 配置 、 上 下 文 相关 的 bug， 以 及 其 他 各 种 各 样 非常 
难以 发 现 和 报告 的 bug。 

(5) bug 提 交 : 只 需要 点 击 几 次 鼠标 就 可 以 提交 bug， 并 且 大 量 相 
关 数 据 被 自动 附 上 ， 包 括 问题 的 精确 位 置 、 截 屏 和 调试 信息 。 

(6) Bug triage 和 调试 : 开发 或 者 测试 经 理 能 看 到 近乎 实时 的 bug 
趋势 图 、 需 要 用 来 分 析 失 败 原 因 的 丰富 的 bug 数 据 ， 甚 至 是 bug 发 现 过 程 
的 一 键 重 放 。 























screen for 
false negatives 





A 图 3.49 端 到 端的 免费 测试 流程 

(7) 部 署 新 的 版 本 并 回 到 第 一 步 。 重 复 上 述 步 又 。 

Web 测 试 的 平 全 和 流程 正 变 得 越 来 越 自 动 化 和 搜索 化 。 前 述 测试 方 
法 的 核心 价值 在 于 ， 训 试 人 员 无 需 为 了 发 现 少数 几 个 可 能 发 生 回归 的 特 
性 变化 ， 而 去 手工 执行 成 百 上 千 的 回归 测试 。 这 些 bot 可 以 7x24 小 时 的 
运行 ， 几 分 钟 内 就 能 完成 一 个 测试 周期 ， 而 不 是 几 小 时 或 几 天 ， 因 此 ， 
它 可 以 更 频繁 的 运行 ， 更 早 的 发 现 回归 。 

bot 流 程 最 强大 的 一 点 ， 古 从 产品 新 版 本 的 部 效 到 bug 的 发 现 之 间 的 
间隔 很 短 。bot 可 以 7x24 小 时 运行 ， 众 包 人 员 7x24 小 时 可 用 ， 因 此 开发 
在 部 团 产 品 以 后 ， 很 快 就 能 得 到 代码 变更 效果 的 反馈 。 有 了 持续 的 构建 
和 部 车 ， 确 定 导 致 bug 的 少数 变更 简直 是 小 沫 一 碟 ， 而 且 这 些 变 更 开发 











还 记得 很 清楚 。 

基本 流程 对 于 Web 页 面 非常 有 效 ， 但 也 应 该 可 以 应 用 到 纯 数据 应 
用 、 客 户 端的 UX 项 目 、 或 者 平台 产品 。 考 虑 同时 部 署 产品 或 系统 的 不 
同 版 本 ， 考 虑 抓 取 和 索引 的 对 应 手段 。 相 似 的 模式 对 这 些 测试 问题 也 可 
能 有 效 ， 但 这 超出 了 本 书 的 范围 








测试 创新 和 实验 〈 作 者 : Jason Arbon) 


Google 文 持 实 验 性 项 目的 文化 带 来 了 很 多 创新 ， 同 时 也 堆积 了 不 少 
失败 的 实验 。 即 使 好 的 解决 方案 已 经 存在 ， 工 程 师 们 还 是 可 以 重新 思考 
测试 、 计 划 和 分 析 的 整套 方法 一 一 这 正 是 他 们 的 职员 所在， 不 会 受到 阻 
f. 

James Whittaker 加 入 Google 后 ， 最 先 做 的 事情 之 一 就 是 主办 内 部 技 
术 讨 论 ， 宣 传 他 对 软件 测试 未 来 的 看 法 。 他 说 ， 软 件 测试 应 该 像 电 子 游 
戏 一 一 就 像 第 一 人 称 视角 的 射手 那样 ， 通 过 在 被 测试 应 用 之 上 的 车 加 ， 
展示 掌握 所 有 上 下 文 信息 。 我 们 不 会 想到 他 在 GTAC 的 演讲 (James 
Whittaker 关 于 测试 的 未 来 的 GTAC 演 讲 可 以 在 YouTube 上 找到 : 
http://www. youtube.com/watch?v=Pug_5TI2UxQ) 将 会 启蒙 未 来 几 年 的 工 
VE. ak A GEOL), MA HAH ST REPE 
用 上 的 真实 案例 。 当 然 ， 要 实现 通用 化 文 持 所 有 客户 端 应 用 ， 困 难 还 是 
比较 大 的 。 

在 James 的 演讲 过 程 中 ， 一 开始 ， 我 对 他 那 激进 的 想法 持 怀疑 态 
度 ， 但 是 后 来 突然 意识 到 ， 通 过 新 的 Chrome 扩 展 API， 很 快 就 能 实现 一 
个 在 浏览 器 里 运行 测试 的 Web 应 用 工具 。 我 为 这 个 想法 兴奋 不 已 ， 接 下 
来 的 一 周 着 手 实 现 了 一 个 原型 。 我 停 掉 了 日 常 工作 ， 甚 至 整个 周末 都 坐 
TER ELE REUY. BERNA CARER EE LMR OVE, VS AIA 
心 这 是 不 是 某 种 前 兆 。 























很 快 我 就 完成 了 一 个 演示 版 ， 前 端 是 Chrome 插 件 ， 与 Python App 
Engine 的 后 端 (App Engine 是 Google 托 管 网 站 或 服务 的 云 服务 平台 。 今 
天 ， 测 试 人 员 经 常 使 用 App Engine 开 发 工具 和 平台 ， 因 为 它 支 持 快速 的 
应 用 搭建 ， 并 且 可 以 免费 享受 到 Google 的 规模 化 优势 。 见 
http://appengine.google.com。 目 前 文 持 Java、Python 和 Go 语言 。) 通 
讯 ， 并 模拟 了 到 bug 数 据 库 的 调用 。 这 个 工具 能 够 演示 以 下 几 点 。 

将 bug 信 息 登 加 到 一 个 页 面 ， 甚 至 是 特定 的 元 素 上 。 

将 测试 用 例 信 息 辣 加 到 被 测试 的 页 面 上 ， 并 显示 一 个 Pass/Fail 按 钮 
用 于 记录 测试 结果 ( 见 图 3.50〉。 

显示 其 他 测试 人 员 的 足迹 和 使 用 的 数据 值 的 热 图 〈 见 图 3.51) 。 
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A 图 3.50 测试 执行 UX 
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A 图 3.51 测试 覆盖 度 热 图 

我 先 在 “google.com” 上 试用 ， 然 后 开始 尝试 其 他 的 站 点 也 没有 问 
题 。 我 找到 James， 给 他 做 了 演示 并 征求 他 的 意见 。James 和 我 变 得 非 
党 兴奋， 我 们 的 讨论 写 满 了 整个 白板 ， 这 很 快 就 成 为 前 述 实验 的 蓝图 。 
我 给 Pat Copeland 和 James 发 送 了 一 个 简短 的 电子 邮件 ， 告 诉 他 们 我 正在 
做 的 事情 ， 并 将 转 到 James 团队 。 没 有 任何 问题 被 提出 来 一 一 这 个 变化 
通过 一 次 电子 邮件 就 完成 了 。 

每 个 子 实验 以 类 似 的 方式 运行 一 一 每 个 工程 师 各 有 任务 和 设计 ， 并 

















与 其 他 同事 自由 合作 。 最 主要 的 管理 是 确保 大 家 的 工作 是 可 复 用 的 、 可 
共享 的 ， 避 免 局 限 性 。 即 使 在 他 们 实现 单一 特性 的 时 候 ， 也 要 求 他 们 想 
得 更 全 面 一 些 。 

Google 的 分 享 文化 一 一 支持 自 底 同 上 的 实验 ， 以 及 组 织 上 的 灵活 性 
提供 了 测试 创新 的 肥沃 土壤 。 除 非 付 诸 实 现 和 应 用 到 真实 问题 ， 你 永远 
都 不 会 知道 结果 是 成 还 是 败 。Google 人 允许 工程 师 尝 试 新 鲜 的 想法 ， 只 要 
他 们 知道 如 何 衡量 成 功 。 
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A Google 拥有 优秀 的 测试 人 才 ， 但 我 们 仍然 意识 到 自己 的 能 
还 是 有 限 的 。 在 Google， 胃 新 的 、 雄 心 勃 勃 的 项 目 在 不 断 涌现 ， 经 常 需 
要 专门 的 测试 技能 。 我 们 并 不 总 是 有 时 间 提 高 测试 技能 或 招聘 新 人 ， 因 
为 这 些 都 不 一 定 能 赶 得 上 项 目的 进展 。 现 在 ，Google 存 在 着 从 设备 、 固 
件 、 操 作 系 统 到 支付 系统 的 各 种 类 型 的 项 目 ， 任 务 范 围 从 修改 操作 系统 
的 内 核 到 修改 远程 驱动 的 富 UI、 到 设备 在 各 种 电视 上 能 否 正常 工作 。 

我 们 意识 到 自己 的 能 力 有 限 ， 所 以 就 诉 诸 于 专家 的 帮助 ， 包 括 外 部 
供应 商 代理 。Chrome ”OS 是 一 个 好 例子 。 我 们 预先 认识 到 Wi-Fi 和 3G 连 
接 是 最 大 的 风险 。 操 作 系 统 的 这 一 部 分 和 物理 设备 在 不 同 制造 商 之 间 变 
化 很 大 ， 而 一 个 没有 Internet 链接 的 云 设备 就 不 怎么 有 用 了 。 另 外 ， 安 
全 更 新 和 软件 补丁 都 是 通过 网 络 传送 的 ， 而 网 络 掉 线 会 损害 这 些 重要 的 
特性 。 当 时 ， 有 一 家 公司 正 遭 受 3G“ 传 导 链 接 性 问题 "的 困扰 。 因 此 ， 我 
们 绝 不 能 把 这 些 功能 的 测试 交 给 好 心 好 意 但 却 不 够 专业 的 人 。 

因为 刚 进入 消费 电子 领域 ，Google 内 部 没有 任何 人 拥有 物理 测试 设 
备 ， 即 使 有 也 没 人 会 用 。 那 时 的 测试 是 这 个 样子 的 : 机 架 上 放 着 20 台 左 
右 的 商用 Wi-Fi 路 由 器 ， 测 试 人 员 举 在 旁边 的 工 位 上 ， 试 着 手工 完成 路 
由 器 的 切换 。 几 周 之 内 ， 我 们 就 收 到 了 供应 商 的 报告 ， 指 出 如 果 用 户 居 
































住 在 有 多 个 路 由 器 同时 履 盖 的 公寓 大 楼 ， 会 发 生 切 换 路 由 器 的 问题 以 及 
吞吐 率 的 降低 CKK Alion Test Labs 的 Ryan Hoppes 和 Thomas Flynn 在 帮 
助 我 们 完成 硬件 和 网 络 测 试 和 认证 过 程 中 发 挥 了 非常 重要 的 作用 ) 。 还 
有 其 他 一 些 问题 与 使 用 原型 硬件 和 板 卡 相关 。 随 即 我 们 就 得 到 了 如 图 
3.52 和 图 3.53 所 示 的 严重 的 否 吐 率 的 下 降 。 这 完全 是 意料 之 外 的 事情 。 
参考 这 个 数据 ， 开 发 人 员 得 以 在 内 部 使 用 阶段 就 完成 了 问题 的 修复 。 
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A 图 3.52 rate vs.range 的 预期 曲线 
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A 图 3.53 早期 Chrome OS 原型 的 rate vs.range 曲 线 


有 意思 的 是 ， 在 Google， 甚 至 较 低 层级 的 工程 师 也 可 以 联络 外 部 供 
应 商 。 快 速 行动 才能 快速 交付 。 现 在 ， 我 们 自己 拥有 了 这 类 测量 设施 并 
继续 倚 助 供应 商 的 专长 。 在 Chrome ”OS 推 向 世界 之 际 ， 善 用 外 部 供应 
商 、 快 速 开 展 工作 的 能 力 ， 对 于 保证 真实 环境 下 稳定 的 网 络 连 通 性 发 挥 
了 关键 性 的 作用 。 

与 外 部 供应 商 的 这 种 伙伴 关系 ， 还 带 来 了 一 个 意料 之 外 的 好 处 。 我 
们 请 他 们 评审 一 个 硬件 合格 性 测试 (Hardware Qualification Tests) 列 
表 。 这 些 测试 是 我 们 要 求人 硬件 厂商 在 将 他 们 的 设备 送 到 Google 来 做 进 一 
步 测试 之 前 要 运行 的 ， 以 减少 硬件 来 回 运 送 的 麻烦 。 通 过 评审 ， 他 们 不 
但 发 现 了 一 些 遗 漏 区 ， 还 好 心地 修改 了 所 有 测试 用 例 的 格式 ， 使 之 与 他 
们 之 前 看 到 的 其 他 硬件 合格 性 测试 相 一 致 。 这 确保 了 我 们 交 给 大 PC 制 





造 商 的 第 一 批 测 试 具有 展 好 的 可 读 性 并 且 是 完整 的 。 以 谦虚 的 态度 寻求 
外 部 专家 的 帮助 ， 这 会 带 来 回报 。 


3.3 = Google Docsi! i4 LJE! Fee 斯 特 


(Lindsay Webster) 的 访谈 


Lindsay Webster 是 Google Docs 的 TE， 工 作 地 点 在 纽约 。Lindsay 是 
一 名 严肃 的 工程 师 ， 在 公司 内 部 的 名 气 很 大 ， 是 那 种 “有 困难 就 找 她 ”的 
测试 专家 (go-to tester) 。 她 有 能 力 影响 开发 团队 去 提高 他 们 的 测试 水 
准 。 她 的 工作 方式 、 影 响 团队 和 产品 质量 的 方式 堪 称 Google ”TE 的 楷 
T 

本 书 作 者 最 近 与 Lindsay 进 行 了 一 次 访谈 ， 了 解 她 对 测试 的 看 法 。 

HGTS: 你 如 何 参 与 一 个 新 项 目 呢 ? 你 首先 会 提出 哪些 问题 、 做 哪 
些 事情 ? 

Lindsay: 对 于 一 个 新 项 目 ， 我 首先 要 站 在 用 户 的 角度 了 解 这 个 产 
品 。 有 可 能 的 话 ， 我 会 作为 一 个 用 户 ， 以 自己 的 账户 和 个 人 数据 去 使 用 
产品 。 我 努力 使 自己 经 历 完整 的 用 户 体 验 。 一 旦 有 自己 的 真实 数据 在 里 
面 ， 你 对 一 个 产品 的 期 待 会 彻底 改变 。 在 具备 了 用 户 心态 之 后 ， 我 会 做 
下 面 的 一 些 事情 。 

从 头 到 尾 的 理解 产品 。 不 管 是 整体 的 设计 文 要 ， 还 是 主要 功能 的 设 
计 文 档 ， 我 都 会 去 看 。 只 要 有 文档 ， 我 就 看 。 

在 消化 了 这 些 文档 之 后 ， 我 开始 关注 项 目的 状态 ， 特 别 是 质量 状 
态 。 我 会 去 了 解 bug 数 量 、 问 题 的 分 组 方式 、 已 经 报告 的 bug 类 型 、 最 长 
时 间 未 处 理 的 pug、 最 近 一 些 bug 的 类 型 等 ， 我 还 会 看 一 下 发 现 一 修复 比 
例 。 

HGTS: 是 按照 每 个 开 用 人 员 还 是 整个 团队 ? 

Lindsay: 都 有 ! 不 奔 张 地 说 ， 只 有 熟悉 了 团队 的 全 貌 ， 才 能 真正 




















有 效 的 展开 工作 。 

我 还 会 去 检查 应 用 的 代码 库 。 对 每 一 个 大 一 点 的 类 ， 我 会 寻找 关联 
的 单元 测试 ， 并 且 运 行 这 些 测试 查看 是 否 能 够 通过 。 这 些 测 试用 例 是 否 
有 效 ? 是 否 完整 * 有 集成 或 端 到 端的 测试 用 例 吗 ? 它们 仍然 通过 吗 ? 历 
史 的 通过 率 是 多 少 ? 这 些 测试 用 例 只 是 基本 场景 ， 还 是 也 窗 盖 到 了 边界 
情况 ? 代码 库 的 哪些 包 变 化 最 多 ? 哪些 已 经 很 长 时 间 没 有 变更 了 ? 开发 
人 员 在 测试 方面 的 文档 工作 是 否 非常 随意 。 

我 还 会 评审 所 有 自动 化 测试 。 有 自动 化 测试 吗 ? 是 否 还 在 运行 且 能 
运行 通过 吗 ? 不 管 怎样 ， 我 都 要 去 检查 测试 代码 ， 理 解 每 个 测试 步 又 ， 
看 它们 是 否 完整 ， 看 相关 的 假设 、 通 过 和 失败 点 是 否 正确 、 是 否 有 效 。 
有 时 ， 自 动 化 只 履 盖 了 简单 的 测试 ， 有时， 自动 化 测试 集 包 含 了 复杂 的 
用 户 场景 (这 是 一 个 非常 好 的 迹象 ) 。 

在 看 完 所 有 文档 之 后 ， 接 下 来 是 团队 。 我 会 了 解 他 们 沟通 的 方式 和 
对 测试 人 员 的 期 望 。 如 果 他 们 使 用 电子 邮件 列表 ， 我 会 全 部 加 入 ;如果 
有 团队 IRC 或 其 他 的 实时 通讯 方式 ， 我 也 会 加 入 。 

询问 他 们 对 测试 的 期 望 ， 会 帮助 友 现 开发 团队 没有 测试 过 的 内 容 。 

HGTS: 仅仅 是 想 一 下 这 些 工 作 我 都 已 经 感到 疲惫 不 堪 了 ， 真 的 非 
常 感谢 像 你 这 样 的 测试 人 员 ! 一 旦 熟悉 了 这 些 文档 和 人 事 ， 就 只 剩 下 实 
施 了 ， 对 吧 ? 

Lindsay: 是 的 ! 侦查 结束 ， 就 该 开始 干 正 事 了 。 第 一 件 事 是 把 应 
用 分 解 为 合理 的 功能 模块 ， 有 一 点 重 肝 没有 关系 。 分 解 不 能 太 细 ， 以 免 
纠缠 于 细节 ; 但 也 不 能 太 粗 ， 必 须 细致 到 可 以 罗列 子 模块 和 功能 。 

有 了 功能 模块 ， 就 可 以 排列 测试 的 优先 级 了 。 风 险 最 大 的 是 哪 部 分 
呢 ? 

到 这 里 ， 我 会 再 次 检查 bug 库 。 这 次 是 按 模 块 对 bug 进 行 分 组 。 这 将 
加 快 已 有 bug 的 查找 ， 减 少 重复 的 bug， 更 容易 暴露 不 断 重 现 的 问题 。 

接 下 来 ， 我 会 按照 优先 级 顺序 更 加 细致 地 遍历 所 有 模块 ， 创 建 用 户 
































故事 (译注 : user story) 。 对 于 那些 需要 详细 的 步骤 说 明 才 能 决定 
pass/fail 的 特性 ， 通 常会 编写 测试 用 例 并 链接 到 相应 模块 的 用 户 故 事 。 
针对 比较 奇怪 的 bug， 尽 量 附加 上 屏幕 截图 、 视 频 、 快 速 参考 ， 或 者 指 
问 现 存 bug 的 链接 。 

有 了 测试 集合 ， 我 接 下 来 会 通过 再 次 检查 bug 和 应 用 来 寻找 敢 盖 度 
上 上 的 不 足 。 测 试 人 员 做 的 很 多 事情 是 周期 性 的 。 此 时 ， 我 会 查看 不 同类 
AMMA, RA aL: 安全 、 兼 容 性 、 集 成 、 探 索 式 的 、 回 归 、 人 性 
能 、 负 载 等 。 

有 了 这 些 基础 材料 ， 我 的 工作 通常 只 是 维护 和 更 新 : 更 新 测试 用 
例 ， 增 加 新 特性 的 文档 ， 更 新 变化 了 的 模块 的 截屏 或 视频 。 最 后 ， 观 察 
哪些 bug 遗 漏 到 了 生产 环境 ， 会 告诉 我 们 测试 履 盖 上 的 不 足 。 

HGTS: 号 为 TE， 在 你 的 工作 中 如 何 代 表 用 户 呢 ? 

Lindsay: 我 把 自己 变 成 用 户 ， 惑 这么 简单 。 我 认为 ， 除 非 能 以 某 
种 方式 将 自己 置 于 用 户 的 视角 ， 人 否则 就 不 可 能 真正 有 效 地 对 一 个 应 用 进 
行 测试 。 这 就 是 为 什么 测试 远 比 检查 一 个 版 本 是 否 可 用 要 复杂 得 多 的 原 
Al; 它 包括 应 用 的 直观 性 、 行 业 标 准 等 各 方面 的 反馈 。 换 句 话说 ， 测 试 
要 清楚 地 指出 当做 之 事 。 

HGTS: 对 于 你 的 工作 ， 开 发 是 怎么 看 竺 的? 如果 他 们 不 认可 测试 
的 价值 ， 那 你 又 该 怎么 办 ? 

Lindsay: 开发 经 常会 低估 我 的 工作 ， 直 到 我 们 在 一 起 工作 了 几 个 
月 之 后 ， 他 们 才 会 改变 想法 。 我 在 完成 了 上 述 工作 之 后 ， 将 邀请 整个 团 
以 开会 ， 介 绍 一 下 我 设 定 的 测试 流程 。 这 种 面对面 的 交流 真 的 很 重要 ， 
我 可 以 利用 这 个 机 会 让 他 们 看 到 我 是 多 么 认真 严肃 地 看 待 他 们 的 应 用 。 
结果 是 一 大 扒 的 问题 和 意见 交换 。 我 得 到 了 好 的 反馈 ， 而 他 们 确信 自己 
有 了 得 力 帮 手 。 

在 我 介绍 了 整个 流程 ， 以 及 我 所 做 的 变化 、 更 新 和 改进 之 后 ， 所 有 
对 测试 价值 的 怀疑 通常 就 会 烟消云散 了 。 












































另外 一 个 现象 可 能 显得 有 点 反常 : 当 我 坦诚 地 指出 某 些 组 件 或 领域 
的 测试 不 应 该 由 我 负责 ， 而 应 该 由 他 们 自己 负责 的 时 候 ， 开 发 反而 更 加 
看 重 我 的 工作 了 。 很 多 测试 人 员 试 图 避免 自我 宣传 ， 避 免 公 开 讨 论 他 们 
不 会 测试 的 东西 ， 担 心 这 样 做 会 使 人 轻 看 测试 的 价值 。 但 在 我 的 经 验 
里 ， 事 实 却 恰恰 相反 ， 开 发 会 因此 而 尊敬 你 。 

HGTS: 谈 一 谈 Google Sites 的 测试 吧 。 你 是 怎么 开始 这 个 项 目的 ? 
产 出 了 哪些 文档 、 是 什么 格式 的 ? 如 何 与 开发 沟通 你 的 发 现 和 成 果 ? 

Lindsay: Google Sites 的 测试 兽 是 一 个 巨大 的 挑战 。 因 为 它 的 用 户 
数量 很 大 ， 并 且 来 自 一 个 被 收购 的 公司 ， 所 以 持续 时 间 比 很 多 其 他 项 目 
的 时 间 长 得 多 。 

通过 杀 上 自 使 用 Sites 建 立 网 站 、 熟 悉 大 概 功 能 ， 我 加 强 了 对 这 个 产品 
的 了 解 。 我 还 联系 了 有 经 验 的 用 户 。 例 如 ， 几 个 月 之 前 ， 我 的 房管 协会 
将 我 们 的 社区 网 站 搬 到 了 Google Sites 上 。 因 此 ， 我 找到 几 个 协会 成 员 ， 
咨询 了 他 们 的 使 用 情况 。 这 个 团队 的 设计 文档 和 规格 文档 的 更 新 不 是 很 
好 。 因 此 ， 我 先 把 产品 分 解 成 了 一 些 可 以 理解 的 小 块 儿 ， 然 后 再 逐个 编 
写 模块 和 子 模块 的 文档 。 

Google 与 其 他 公司 的 做 事 方式 不 同 ，Google Sites 的 代码 结构 与 我 的 
习惯 不 一 致 ， 这 也 减缓 了 工作 进度 。 另 外 ， 创 业 型 公司 不 怎么 写 测试 
一 一 单元 的 、 端 到 端的 或 自动 化 的 。 因 此 ，JotSpot 转 来 的 Google Sites 项 
目 只 能 边 走 边 完善 ， 有 些 地 方 使 用 了 不 同 的 风格 和 方法 。 这 些 都 是 身 为 
测试 人 员 要 学 着 面 对 的 东西 。 

项 目 己 经 存在 很 长 时 间 了 ， 几 年 下 来 不 但 累积 了 很 多 bug， 而 且 bug 
库 难 以 理 清 、 绪 构 不 好 ， 并 且 没 有 详细 的 子 模 块 来 文 持 问题 分 类 。 我 们 
化 了 很 长 时 间 才 将 bug 按 照 模块 结构 整理 完毕 。 

我 建立 了 一 个 网 站 (当然 是 使 用 Google Sites) 用 于 集中 Site 测 试 的 
所 有 文档 : 用 户 故 事 、 测 试 环境 信息 、 测 斌 团队 信息 、 各 条 发 布线 的 测 
WAS. EA ALP AVE AI SE) 按照 测试 优先 级 列 出 了 所 有 模块 和 

















子 模块 ， 管 理 各 个 发 布 的 测试 。 

所 有 这 些 大 修整 结束 之 后 ， 我 给 开发 团队 做 了 一 次 报告 ， 介 绍 了 完 
整 的 测试 流程 。 这 对 于 开发 团队 理解 测试 的 范围 和 挑战 起 了 很 大 的 作 
用 。 在 此 之 后 ， 我 确实 感到 自己 的 努力 受到 了 更 高 的 赞赏 。 

HGTS: 你 能 讲 一 个 特别 的 bug 及 其 发 现 过 程 吗 ? 

Lindsay: 对 我 而 言 ， 对 日 期 字段 的 应 用 进行 的 “日 期 ”测试 一 直 很 有 
思 。 我 喜欢 测试 未 来 的 日 期 和 很 久 以 前 的 日 期 ， 通 党 总 会 发 现 一 些 很 
怪 的 错误 行为 ， 甚 至 是 一 些 很 有 趣 的 计算 错误 。 有 一 个 查找 bug 是 这 
羊 ， 当 在 生日 字段 填写 一 个 未 来 的 日 期 时 ， 年 龄 计算 就 会 出 现 混乱 。 我 
觉得 查找 bug 真 的 很 有 趣 ! 

HGTS: 怎样 评价 自己 的 影响 力 ? 

Lindsay: 遗漏 到 客户 的 bug 是 一 项 重要 指标 ， 我 希望 这 个 数字 接近 
0。 男 外 ， 我 还 认真 关注 所 负责 项 目的 声誉 。 如 果 项 目 以 bug 或 糟糕 的 UI 
闻名 ， 如 在 用 户 论 坛 里 (要 密切 关注 用 户 论 坛 ) ， 这 是 项 目 有 待 改进、 
影响 也 有 待 提高 的 信号 。 一 个 项 目 还 会 困扰 于 bug 债 务 ， 即 一 直 没 有 被 
修复 的 陈旧 bug。 因 此 ， 我 还 会 用 仍 在 影响 用 户 的 陈旧 bug 的 数量 来 衡 
量 我 的 作用 。 我 努力 向 上 反馈 这 些 问题 ， 并 用 bug 寿 命 等 事实 来 说 服 开 
发 提高 优先 级 。 

HGTS: 你 如 何 判断 测试 可 以 结束 了 ? 

Lindsay: 不 太 好 说 。 在 测试 一 个 新 的 发 布 时 ， 这 通常 由 发 布 日 期 
决定 ， 而 不 是 根据 我 的 判断 。 此 外 ， 由 于 新 的 浏览 器 版 本 和 访问 Web 应 
用 的 新 设备 的 出 现 ， 即 使 是 一 个 开发 已 经 不 太 活 跃 的 Web 应 用 也 需要 进 
行 测试 。 我 认为 测试 的 退出 标准 应 该 是 : 你 有 足够 的 信心 ， 剩 下 的 bug 
都 属于 那些 使 用 率 较 低 、 出 问题 之 后 对 用 户 影响 也 较 低 的 模块 〈 或 功能 
特性 、 浏 览 器 、 设 备 等 ) 。 这 就 是 为 什么 要 按照 一 定 的 优先 级 处 理应 用 
的 各 种 功能 和 环境 支持 。 

HGTS: 如 何 推动 bug 得 到 修复 ? 
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Lindsay: 推动 bug 得 到 解决 是 IE 的 一 件 重要 工作 。 我 必须 不 断 地 跟 
新 特性 开发 抢 时 间 ， 要 求 开 发 人 员 去 修复 bug。 用 户 反 馈 是 一 种 很 有 力 
的 论据 。 一 个 bug 市 来 的 用 户 抱 候 越 多 ， 我 就 越 能 证 明 修复 问题 而 非 开 
发 新 特性 的 时 间 不 会 白费 。 在 Google， 像 Sites 这 样 的 企业 产品 有 专门 的 
客户 服务 代表 ， 我 会 与 这 些 团队 保持 密切 联系 ， 时 刻 关 注 来 自 客 户 的 频 
发 性 的 问题 。 

HGTS: 如 果 神 能 满足 你 一 个 愿望 ， 玫 你 解决 工作 中 的 一 个 问题 ， 
那 会 是 什么 呢 ? 

Lindsay: 哇 ,“ 一 个 ”(one aspect) 可 以 是 “全 部 ”(everything) 
mj? 好 吧 ， 如 果 可 以 的 话 ， 我 希望 是 基本 的 、 框 架 性 的 测试 用 例 ， 或 者 
用 户 场景 无 需 编 写 、 自 动 到 位 。CRUD 操 作 (译注 : create. read, 
update、delete) 适 用 于 所 有 对 象 ， 因 此 没有 必要 每 个 特性 都 去 详细 描 
述 。 通 过 使 用 抽象 程度 高 的 用 户 故 事 来 代替 预定 义 的 测试 用 例 模 型 ， 可 
以 有 效 的 避免 此 类 麻烦 ， 但 我 仍然 希望 这 个 问题 完全 消失 。 

HGTS: 你 的 工作 如 何 有 影响 一 个 产品 的 发 布 决定 呢 ? 

Lindsay: 我 会 从 对 用 户 产 生 的 影响 的 角度 来 说 明 为 什么 一 个 功能 
不 能 上 线 或 整个 发 布 都 不 能 上 线 。 值 得 感谢 的 是 ， 我 的 团队 通常 会 同 
意 。 除 非 存在 严重 的 问题 ， 我 不 会 阻挡 一 个 发 布 。 重 要 的 是 ， 要 维护 团 
队 的 这 份 信任 一 一 如 末 我 强烈 感到 发 布 时 机 未 到 ， 那 么 这 可 能 也 是 他 们 
希望 的 。 

HGTS: 关于 TE 这 个 角色 ， 你 最 喜欢 的 和 最 不 喜欢 的 是 哪 一 点 ? 

Lindsay: 我 真 的 喜欢 这 种 技能 带 来 的 灵活 性 。 这 个 角色 是 技术 性 
的 ， 但 同时 也 是 面向 用 户 的 。 有 什么 项 目 不 需 要 我 这 样 的 人 呢 ? 我 可 以 
给 这 么 多 不 同类 型 的 项 目 带 来 价值 。 团 队 在 推出 一 个 产品 或 新 功能 时 难 
免 感到 提心吊胆 ， 而 我 能 带 给 他 们 镇 定 和 信心 ， 这 使 我 感到 自己 是 一 种 
正面 、 有 益 的 力量 。 

HGTS: Google 和 其 他 公司 的 测试 有 何不 同 ? 

















Lindsay: 自主 性 。 在 选择 全 时 工作 的 项 目 和 20% 的 项 目 上 ， 我 有 很 
大 的 自由 度 。20% 的 时 间 是 Google 的 一 种 制度 ， 我 们 可 以 每 周 拿 出 一 天 
时 间 ， 或 者 说 一 周 工作 时 间 的 20% 来 做 自己 选择 的 项 目 。 这 使 我 得 以 参 
加 了 各 种 不 同 的 项 目 ， 提 升 了 技能 ， 同 时 激发 和 保持 了 我 的 工作 热情 。 
人 否则， 我 可 能 会 经 常 感到 又 是 一 个 土 拨 鼠 日 〈 译 注 : 典故 来 自 偷 天 情缘 
Groundhog Day 这 部 电影 。 在 传统 的 土 拨 鼠 日 这 一 天 ， 主 人 公 陷 入 了 一 
个 偷 天 陷阱 ， 每 当 他 第 二 天 醒 来 ， 都 是 相同 的 一 天 。 这 里 形容 这 无 新 
意 、 重 复 性 劳动 造成 的 日 复 一 日 、 时 间 停 止 的 感觉 

HGTS: SET 怎 么 看 待 你 的 工作 ? 

Lindsay: SET 可 能 会 忽视 人 工 跟踪 bug 库 和 每 个 发 布 的 测试 的 重要 
性 ， 直 到 他 们 受益 并 注意 到 产品 由 此 产生 的 变化 。 即 使 他 们 认为 自动 化 
覆盖 了 所 有 的 测试 场景 〈 的 确 如 此 ) ， 如 果 没 有 人 做 探索 式 测试 ， 就 没 
人 去 设计 开发 新 的 、 发 现 更 多 问题 的 测试 用 例 。 此 外 ， 没 有 人 跟 进 自动 
化 发 现 的 所 有 bug， 就 没有 人 把 这 些 bug 与 其 他 bug 和 用 户 反馈 关联 起 
来 ， 或 者 提升 其 重要 性 ， 督 促 问 题 得 到 及 时 解决 。 我 会 把 这 些 事情 都 讲 
清楚 ， 所 以 同 我 合作 过 的 SET 通 常会 真心 实意 地 肯定 我 带 给 项 目的 变 
化 。 当 然 ， 还 是 有 一 些 不 那么 尊敬 我 的 工作 的 SET， 但 他 们 就 像 有 类 似 
想法 的 开发 人 员 一 样 ， 不 曾 与 我 或 其 他 TE 一 起 工作 过 。 一 旦 发 生 了 合 
作 ， 他 们 的 态度 通常 会 迅速 的 转变 。 

HGTS: 你 是 怎样 与 SET 互动 的 呢 ? 

Lindsay: 我 负责 组 织 包 括 SET 在 内 的 整个 团队 的 测试 战略 。 当 SET 
不 清楚 从 何 处 开始 实现 测试 或 者 工具 时 ， 我 会 展示 最 需要 测试 的 地 方 并 
以 bug 数 据 做 支持 。 我 还 能 用 真实 数据 说 明 他 们 的 方案 在 预防 bug 方 面 的 
有 效 性 如 何 。 因 此 ， 我 们 的 互动 主要 是 围绕 组 织 和 反馈 进行 的 。 

















Apple Chow 是 Google Offers 的 TE。 在 此 之 前 ， 他 是 Google 旧 金山 分 
部 YouTube 的 测试 主管 。Apple 喜 欢 新 挑战 ， 不 断 寻 找 可 供 利用 的 最 新 
的 测试 工具 和 技术 。 

最 近 ， 作 者 与 Apple 就 YouTube 测 试 进行 了 交流 。 

HGTS: Apple， 是 什么 吸引 你 加 入 Google 的 ? 有 一 个 这 样 的 名 字 ， 
你 肯定 考虑 过 其 他 公司 的 职位 吧 ? 

Apple: 呵呵 ，apple@apple.com 的 确 很 族人 ! 我 加 入 Google 的 原因 
是 其 产品 的 广度 和 能 与 绝顶 聪明 、 知 识 渊博 的 人 合作 的 机 会 。 我 喜欢 变 
换 项 目 ， 热 爱 各 种 挑战 ，Google 是 一 个 适合 我 的 地 方 。 在 这 里 ， 我 有 机 
会 参与 能 对 成 百 上 于 万 的 用 户 产生 影响 的 众多 产品 。 每 天 都 是 一 个 新 的 
挑战 ， 我 从 未 感到 厌倦 。 当 然 ， 免 费 的 按摩 绝对 是 一 个 加 分 项 。 

HGTS: 你 觉得 TE 和 SET 的 面试 流程 怎么 样 ? 

Apple: Google 的 目标 是 发 现 有 能 力学 习 、 成 长 、 解 决 各 种 不 同 问 
题 的 多 面 手 。 我 认为 这 适用 于 TE、SET 和 SWE。 在 很 多 其 他 公司 ， 针 对 
不 同 的 角色 有 指定 的 面试 团队 ， 面 试 你 的 人 是 你 将 要 一 起 工作 的 人 。 但 
在 Google， 面 试 却 不 是 这 样 的 。 面 试 官 来 自 不 同 的 团队 ， 这 样 候 选 人 可 
以 得 到 多 个 角度 的 不 同 评价 。 总 而 言 之， 我 觉得 这 种 流程 的 设计 是 为 了 
招聘 到 几乎 能 在 Google 的 所 有 团队 工作 的 人 。 这 一 点 也 很 重要 ， 因 为 它 
方便 了 Google 的 内 部 转岗 ， 你 总 可 以 选择 新 产品 领域 和 新 团队 。 在 这 种 
结构 下 ， 成 为 多 面 手 非常 重要 。 

HGTS: 你 有 多 家 技术 公司 的 工作 经 历 。 来 到 Google 之 后 ， 这 里 的 











软件 测试 最 令 你 惊讶 的 是 哪 一 点 ? 

Apple: ÆJI AKT. WETIRE Google 而 使 我 的 观点 有 失 偏 
占 ， 但 我 觉得 这 里 的 TE 和 SET 比 其 他 绝 大 多 数 的 公司 都 更 加 技术 化 。 
我 经 历 的 其 他 公司 有 专门 的 自动 化 团队 和 手工 测试 团队 ， 而 Google 的 
SET 必须 写 代 码 ， 这 是 他 们 的 工作 。 这 里 也 很 难 找到 不 会 写 代 码 的 
TE。 具 备 编 程 能 力 有 助 于 我 们 在 项 目 早期 束 发 挥 影响 力 ， 因 为 在 项 目 
初期 主流 测试 技术 通常 都 是 单元 测试 方面 的 ， 这 个 时 候 真 正 的 端 到 站 测 
试 还 都 无 法 运行 。 在 Google， 我 认为 技术 能 力 是 测试 人 员 得 以 发 挥 影响 
力 的 关键 因素 。 

Google 测 试 的 另外 一 个 独特 之 处 是 大 量 的 自动 化 。 绝 大 多 数 的 自动 
化 测试 在 手工 测试 人 员 拿 到 产品 之 前 就 已 经 执行 了 。 这 样 ， 到 人 工 测 试 
开始 的 时 候 ， 代 码 质 量 已 经 相当 高 了 。 

与 其 他 公司 相 比 ， 工 具 也 是 另外 一 个 不 同 之 处 。 通 常 ，Google 不 使 
用 了 商业 性 工具 。Google 有 着 高 度 重 视 工 具 的 文化 ，20% 时 间 保 证 每 一 个 
人 都 能 抽 衬 为 Google 的 内 部 工具 做 出 贡献 。 工 具 帮 助 我 们 越过 困难 的 、 
重复 性 的 测试 ， 将 宝贵 的 人 力 劳 动 集中 在 真正 需要 人 的 地 方 。 

接 下 来 ， 当 然 要 说 一 下 开发 负责 质量 〈developer-owns-quality) 和 
以 测试 为 中 心 的 SWE 文 化 了 。 质 量 是 大 家 的 共同 责任 ， 没 人 置身 事 外 。 
任何 工程 师 可 以 测试 任何 机 器 上 的 任何 代码 ， 这 就 是 我 们 的 敏捷 之 道 。 

HGTS: Google 的 测试 与 其 他 公司 的 相同 之 处 呢 ? 

Apple: 在 测试 上 难以 自动 化 的 软件 ， 很 难 成 为 好 的 软件 。 有 时 为 
了 某 个 功能 的 匆忙 上 线 ， 会 导致 代码 的 测试 不 够 充分 。 哪 里 都 没有 完美 
的 公司 ; BRAE me 

HGTS: 作为 YouTube 的 TE， 你 负责 哪些 功能 的 测试 ? 

Apple: 我 参与 了 很 多 项 目 ， 帮 助 完 成 了 很 多 产品 功能 的 上 线 。 其 
中 新 Watch 页 面值 得 一 提 ， 它 是 YouTube 视频 页 面 上 一 个 全 新 的 设计 ， 
是 整个 Internet 最 火 的 页 面 之 一 。 另 外 一 个 难 环 的 项 目 是 与 Vevo 的 合 























作 。Vevo 是 由 Google、 索 尼 音 乐 和 环球 音乐 成 立 的 合资 公司 。 它 使 用 了 
YouTube 的 视频 托管 和 流 引 擎 ， 提 供 优质 的 音乐 内 容 。2009 年 12 月 8 日 
发 布 当 天 ， 有 超过 14 000 个 视频 上 线 ， 接 下 来 的 三 个 月 内 ，VEVO 优 质 
视频 的 访问 量 达 到 了 14 000 000。 我 还 负责 了 YouTube 基于 Flash 的 视 
频 播 放 器 从 ActionScript2 升级 到 ActionScript3 的 重 写 的 测试 工作 ， 以 及 
Channel and Branded Partner 的 新 页 面 的 发 布 。 

HGTS: 那么 ，Google 的 主管 是 什么 样子 的 呢 ? 

Apple: 主管 是 一 种 整个 产品 或 团队 范围 内 、 或 者 跨 多 个 产品 的 协 
调 性 角色 。 例 如 ，Vevo 项 目 中 ， 我 们 得 关注 YouTube 播放 器 、branded 
watch ” 模块、 频道 体系 、 流 量 分 配 、 摄 取 Cingestion) 、 报 表 等 。 可 以 
确定 的 是 ， 主 管 还 需要 具备 全 局 性 思维 。 

HGTS: 你 是 如 何在 YouTube 中 应 用 探索 式 测 试 思想 的 呢 ? 

Apple: 对 YouTube 这 样 一 个 人 性 化 和 视觉 体验 型 的 产品 而 言 ， 探 
索 式 测试 是 非常 重要 的 。 我 们 尽 可 能 地 多 做 探索 式 测试 。 

HGTS: YouTube 的 测试 人 员 是 怎样 接受 探索 式 测 试 这 一 方法 的 ? 

Apple: 这 是 一 个 巨大 的 精神 鼓舞 ! 测试 人 员 嘉 欢 测 试 ， 也 喜欢 发 
现 bug。 探 索 式 测试 开阔 了 测试 的 活动 空间 、 增 加 了 测试 的 趣味 性 。 测 
试 人 员 需 要 像 旅 行者 一 样 思 考 ， 从 不 同 的 角度 出 发 ， 创 造 出 不 同 的 测试 
模式 来 破坏 软件 。 这 使 测试 变 得 更 加 有 意思 、 更 加 有 效 ， 因 为 这 种 方式 
的 测试 可 以 暴露 有 趣 的 、 隐 秘 的 、 用 其 他 手段 或 传统 重复 的 过 程 难以 发 
现 的 bug。 

HGTS: 你 提 到 了 旅游 。James 让 你 们 看 他 的 书 了 吗 ( 译 注 : 指 
James A.Whittaker 的 《探索 式 软 件 测 试 》 一 书 )? 

Apple: 当 James 加 入 Google 的 时 候 ， 那 本 书 刚 刚 出 版 ， 他 做 了 几 次 
分 享 ， 跟 我 们 开 过 几 次 会 。 但 是 他 在 西雅图 ， 而 我 们 在 加 利 福 尼 亚 ， 所 
以 并 没有 多 少见 面 的 机 会 。 我 们 是 从 他 的 书 开 始 学 习 运 用 探索 式 测试 
的 。 一 些 漫游 方式 起 作用 了 ， 也 有 一 些 并 没有 效果 ， 我 们 很 快 就 搞 清楚 

















了 哪些 探索 式 测试 的 模式 适用 于 我 们 的 产品 。 

HGTS: 哪些 模式 有 效果 呢 ? 介意 列举 一 下 吗 ? 

Apple: “money tour" 《侧重 于 金钱 相关 的 特性 ， 对 YouTube 而 言 是 
与 广告 或 合作 伙伴 相关 的 特性 ) 得 到 很 大 关注 ， 对 于 各 个 发 布 都 很 重 
i, “landmark tour" (侧重 于 重要 的 系统 功能 和 特性 ) 和 “bad 
neighborhood tour”(〈 侧 重 于 先前 的 重 灾 区 和 基于 最 近 出 现 的 bug 确 定 的 
问题 突出 领域 ) 在 发 现 最 严重 的 bug 方面 最 为 有 效 。 观 摩 团 队 其 他 人 提 
区 的 bug、 讨 论 发 现 策略 ， 对 每 个 人 来 说 都 是 一 种 极 好 的 学 习 体 验 。 旅 
游 的 概念 对 我 们 解释 和 分 享 探 索 式 测试 的 策略 非常 有 用 。 我 们 还 饶 有 兴 
趣 的 拿 一 些 漫 游 模式 开玩笑 ， 例 如 “antisocial tour" (一 有 机 会 就 输入 最 
不 可 能 的 输入 ) . “obsessive compulsive tour”( 重 复 同一 动作 ) 
和 “couch potato tour”( 只 给 最 小 输入 、 接 受 一 切 默 认 值 )。 探 索 式 测试 
不 仅 指导 了 我 们 的 测试 ， 还 提高 了 团队 的 凝聚 力 。 

HGTS: 我 们 知道 你 正在 YouTube 团 队 推 动 Selenium 测 试 。 关 于 使 用 
Selenium 实 现 测试 自动 化 ， 你 最 喜欢 的 和 最 不 喜欢 的 分 别 是 什么 ? 

Apple: 最 喜欢 的 是 简单 的 API， 你 可 以 使 用 自己 喜欢 的 编程 语言 写 
测试 代码 ， 如 Python 、Java 和 Ruby。 你 可 以 从 应 用 里 直接 调用 JavaScript 
代码 这 种 了 不 起 的 特性 非常 有 用 。 

最 不 喜欢 的 依旧 是 浏览 器 测试 。 运 行 速度 较 慢 ， 还 需要 API 回 调 ， 
测试 离 被 测 的 对 象 很 远 。 它 有 助 于 通过 自动 化 那些 人 工 验 证 极端 困难 的 
场景 来 保证 产品 质量 ， 如 对 广告 系统 后 问 的 调用 。 我 们 有 一 些 测 试用 于 
加 载 不 同 的 视频 ， 然 后 使 用 Banana Proxy〔 一 个 内 部 开发 的 Web 应 用 安 
全 审计 工具 ， 可 以 记录 HTTP 请 求 和 应 答 〉 拦截 广告 调用 。 这 样 ， 浏 览 
器 请 求 经 过 Banana Proxy (His) 的 中 转 到 达 Selenium， 再 到 达 Web。 
由 此 ， 我 们 可 以 检查 同 外 发 送 的 请 求 是 否 包含 了 正确 的 URL 参 数 ， 接 收 
到 的 响应 是 否 包 含 了 期 望 的 内 容 。 总 的 来 说 ，UI 测试 的 执行 比较 慢 ， 
非常 脆弱 ， 维 护 成 本 也 很 局。 一 个 教训 是 ， 只 保留 少数 几 个 用 来 验证 端 

















到 端的 集成 场景 的 高 级 别 冒 烟 测 试 ， 除 此 之 外 尽 可 能 编写 底层 的 测试 用 
例 。 

HGTS: Flash 占 据 了 YouTube 内 容 和 UI 的 一 大 部 分 ， 它 怎样 测试 的 
呢 ? 你 们 是 否 有 某 种 通过 Selenium 测 试 Flash 的 秘籍 ? 

Apple: PERE, 没有。 有 的 只 是 大 量 的 艰 苗 劳动 。Selenium 在 
某 些 方面 有 帮助 ， 因 为 我 们 的 JavaScript API 是 骏 露 的， 可 以 利用 
Selenium 来 进行 调用 测试 。 我 们 使 用 了 一 个 图 像 比 较 工具 pdiff 来 测试 缩 
略图 、 最 后 一 屏 Cend of screen〉 的 泻 染 。 我 们 还 使 用 了 大 量 的 HTTP 流 
代理 来 监 昕 流量 ， 这 样 就 可 以 了 解 页 面 变化 的 更 多 信息 。 我 们 使 用 
As3Unit 和 FlexUnit 来 加 载 播放 器 来 播放 不 同 的 视频 ， 以 及 触发 播放 器 事 
件 。 关 于 验证 ， 我 们 可 以 使 用 这 些 框架 来 验证 软件 的 各 种 状态 、 完 成 图 
像 对 比 。 我 想 说 这 束 像 变 戏 法 一 样 ， 但 实际 上 是 大 量 代码 铺 就 的 。 

HGTS: 你 或 团队 曾经 发 现 过 的 、 避 免 用 户 遇 到 的 最 大 的 bug 是 什 




















LA? 

Apple: 最 大 的 bug 通 常 不 那么 有 趣 。 然 而 ， 我 记得 曾经 有 一 个 导致 
正 浏览 器 朋 涡 的 CSS 问 题 。 这 是 我 们 第 一 次 遇见 CSS 摘 协 浏 览 右 的 情 
FÉ. 

一 个 难忘 、 微 妙 的 bug 发 生 在 2010 年 新 Watch 页 面 上 线 期 间 。 我 们 发 
现 ， 在 IE7 中 ， 当 用 户 将 鼠标 指针 移动 到 播放 器 区 域 之 外 时 ， 播 放 器 会 
在 一 段 时 间 后 失去 响应 。 这 个 问题 值得 关注 ， 因 为 当 用 户 在 长 时 间 的 观 
看 一 个 视频 并 四 处 移动 鼠标 时 就 会 中 招 。 一 切 操作 都 会 慢 下 来 ， 直 到 浏 
览 器 彻底 失去 响应 。 最 后 发 现 原因 是 未 释放 的 事件 指针 和 资源 一 直 在 反 
复 执 行 同 样 的 计算 。 如 果 你 正在 看 短片 或 不 移动 鼠标 ， 束 不 会 发 生 这 个 
问题 。 

HGTS: 你 认为 YouTube 测 试 最 成 功 的 一 点 是 什么 ， 最 不 成 功 的 是 
什么 ? 

Apple: 最 成 功 的 是 一 个 获取 并 检查 问题 URL 的 工具 。 尽 管 这 个 测 














试 很 简单 ， 但 对 快速 捕捉 到 关键 的 bug 真 的 很 有 效 。 我 们 增加 了 一 个 功 
能 ， 它 提供 的 堆栈 跟踪 (stack traces) 可 供 工 程 师 用 来 跟踪 和 修复 问 
题 ， 这 使 问题 更 容易 得 到 调试 和 解决 。 这 个 工具 很 快 就 成 为 部 署 期 间 测 
试 的 第 一 道 防 线 ， 节 省 了 大 量 的 测试 时 间 。 我 们 还 花 少 许 精 力 进 行 了 扩 
展 ， 使 之 可 以 履 盖 到 通过 日 志 确 定 的 最 流行 的 URL 以 及 一 个 人 工 挑选 出 
来 的 列表 。 这 件 事 非常 成 功 。 

最 不 成 功 的 大 概要 算 每 周 上 线 过 程 对 人 工 测试 的 持久 的 依赖 了 。 我 
们 只 有 非常 小 的 时 间 窗 口 用 于 测试 (冻结 代码 的 当天 就 要 上 线 ) ， 但 是 
却 有 大 量 的 非常 难以 自动 化 的 UI 变动 ， 这 了 驶 导致 手工 测试 在 每 周 的 发 
布 流 程 中 变 得 非常 关键 。 这 个 问题 很 困扰 ， 我 希望 能 有 更 好 的 答案 。 

HGTS: YouTube 是 一 个 由 数据 驱动 的 网 站 ， 因 为 很 多 内 容 都 是 由 
算法 来 决定 的 。 你 们 如 何 验 证 正确 的 视频 在 正确 的 时 间 和 位 置 被 显示 了 
We? 你 的 团队 验证 视频 的 质量 吗 ? 如 果 验 证 的 话 该 怎么 做 呢 ? 

Apple: 我 们 度量 视频 被 观看 的 频率 、 它 们 之 间 的 相互 关系 ， 以 及 
一 大 堆 的 其 他 参数 变量 。 我 们 分 析 绥 冲 区 内 容 泪 后 Cbuffer under-runs ) 
和 高 速 缓存 未 命中 (cache misses) 的 数量 ， 并 基于 这 些 数据 优化 全 球 的 
服务 架构 。 

我 们 有 视频 质量 级 别 的 单元 测试 ， 以 确保 达到 适当 的 质量 。 有 一 个 
团队 实现 了 一 个 对 此 进行 更 为 深入 测试 的 工具 ， 且 已 经 开源 (AS3 播放 
器 助手 的 源 代 码 见 http://code.google.com/p/youtube-as3-player- 
helper/source/checkout) 。 它 的 原理 是 使 用 FlexUnit 测 试用 例 〈 基 于 内 置 
的 YouTube 播 放 器 〉 播 放 各 种 测试 视频 并 检查 播放 器 状态 和 属性 。 这 些 
测试 视频 具有 大 型 的 条 码 来 标记 由 和 时 间 轴 ， 使 之 在 压缩 失真 和 质量 损 
失 的 情况 下 仍 可 以 很 容易 识别 。 度 量 状态 还 包括 抓 取 和 分 析 视 频 帧 的 快 
照 。 我 们 会 检查 正确 的 长 宽 比 或 裁剪 、 变 形 、 色 偏 、 空 帧 、 白 屏 、 同 步 
等 ， 还 加 入 了 对 bug 报 告发 现 的 问题 的 检查 。 

HGTS: 关于 web、Flash 以 及 数据 驱动 的 web 服 务 ， 你 对 其 他 测试 人 























员 有 哪些 建议 ? 

Apple: 不 管 是 测试 框架 还 是 测试 用 例 都 以 简单 为 要 ， 随 着 项 目的 
开展 再 迭代 的 设计 。 不 要 试图 事先 解决 所 有 问题 。 要 敢于 扔 掉 过 时 的 东 
西 。 如 果 测 斌 或 者 自动 化 过 于 难以 维护 ， 不 如 放弃 它 并 试 着 去 实现 更 有 
韧性 、 更 好 的 东西 。 密 切 关注 一 段 时 间 维 护 和 排 错 的 成 本 。 遵 守 70-20- 
10 法 则 : 小 型 的 用 来 验证 单个 类 或 功能 的 单元 测试 占 70%， 中 型 的 用 来 
验证 一 个 或 多 个 应 用 模块 之 间 集 成 的 测试 占 20%， 大 型 的 高 级 别 的 用 来 
验证 完整 应 用 的 测试 “一 般 称 为 系统 测试 和 端 到 端 测 试 ) 占 10%。 

除 此 之 外 ， 安 排 好 优先 级 ， 寻 找 小 成 本 大 回报 的 自动 化 项 目 。 一 定 
要 记 住 自动 化 并 不 能 解决 所 有 问题 ， 尤 其 是 前 端 项 目 和 设备 测试 。 你 总 
会 需要 聪明 的 、 探 索 式 的 测试 并 跟踪 测试 数据 。 

HGTS: 那么 告诉 我 们 真相 吧 。YouTube 测试 一 定 很 热闹 吧 ? 比如 
看 一 整 天 搞笑 的 猫咪 视频 。 

Apple: 好 吧 ， 有 一 个 思 人 节 我 们 颠倒 了 所 有 视频 的 标题 。 我 不 说 
谎 ， 是 的 ， 测 试 YouTube 很 好 玩 。 我 发 现 了 很 多 有 趣 的 内 容 ， 这 不 正 是 
我 的 工作 嘛 ! 即使 这 样 ， 我 还 是 会 在 看 猫咪 视频 时 大 笑 不 止 。 


第 4 音 测试 工程 经 理 


测试 工程 师 (TE〉 和 测试 开发 工程 师 (SET) 分 别致 力 于 文 持 用 户 
和 开发 工程 师 。 另 外 还 有 一 个 角 可 以 把 这 两 者 联系 起 来 ， 那 就 是 测试 工 
FEIE (Test Engineering Manager, TEMO 。 测 试 工 程 经理 是 作为 独立 页 
献 者 的 一 个 技术 岗位 ， 负 员 所 有 的 支持 团队 开发、 产品 管理 、 产 品 发 
布 、 文 档 等 ) 之 间 的 联络 。 这 可 能 是 在 Google 最 上 共 挑 战 性 的 一 个 职位 ， 
不 仅 需要 同时 具备 TE 和 SET 的 技能 ， 还 需要 拥有 足够 的 管理 技能 来 负责 
直接 下 属 的 职业 发 展 。 








4.1 测试 工程 经 理 的 工作 


Google 的 测试 项 目 不 仅 仅 依 赖 于 本 书 前 面 已 经 提 到 过 的 测试 工程 师 
TE 和 测试 开发 工程 师 SET 完 成 他 们 的 工作 ， 还 依赖 于 测试 工程 经 理 TEM 
这 个 角色 的 领导 力 和 协调 能 力 。 测 试 工程 师 和 测试 开发 工程 师 都 汇报 给 
测试 工程 经 理 。 测 斌 工程 经 理 通 常 直 接 汇报 给 测试 总 监 〈 译 注 ， 写作 本 
书 时 ，Google 拥 有 六 位 测试 总 监 。 辐 每 位 总 监 直接 汇报 的 测试 工程 经 理 
用 一 只 手 就 能 数 过 来 。 独 立 页 献 者 一 般 回 测试 工程 经 理 汇报 ， 而 资深 工 
程 师 和 技术 负责 人 一 般 直 接 汇报 给 他 们 的 总 监 。 这 种 局 平 的 结构 是 为 了 
能 更 好 地 协同 工作 ， 并 降低 沉重 的 管理 负担 。 绝 大 多 数 总 监 也 都 会 分 出 
一 部 分 时 间 ， 让 目 己 作为 独立 贡献 者 工作 ) 。 所 有 的 测试 总 监 都 汇报 给 
Patrick Copeland. 

测试 工程 经 理 需 要 拥有 技术 能 力 、 领 导 能 力 和 协调 能 力 。 他 们 通常 
都 是 成 长 于 Google 的 内 部 团队 ， 而 不 是 从 外 部 空降 的 。 空 降 的 员工 通 策 
(但 不 是 全 部 ) 都 作为 独立 贡献 者 。 即 便 是 James Whittaker 受 聘 为 测试 
忌 监 ， 也 有 将 近 三 个 月 的 时 间 完 全 没有 任何 员工 直接 向 他 汇报 。 

目前 的 测试 工程 经 理 中 ， 有 超过 半数 之 前 都 曾 做 过 TE 的 角色 。 这 
并 不 奇怪 ， 因 为 TE 本 来 就 关注 测试 项 目的 各 个 方面 ， 进 而 管理 整个 项 
目的 人 员 也 只 是 向 前 到 进 了 一 步 。TE 对 于 其 测试 的 应 用 程序 的 功能 特 
性 了 解 得 非常 全 面 ， 而 且 在 项 目 中 与 一 般 的 SET 相 比 会 更 多 地 接触 各 种 
工程 师 。 然 而 ， 成 功 的 TE 或 SET 并 不 一 定 就 是 成 功 的 测试 工程 经 理 。 在 
Google， 成 功 需要 多 方面 的 因素 ， 我 们 努力 选择 合适 的 经 理 人 选 ， 并 努 
力 帮 助 他 们 成 功 。 

想 成 为 优秀 的 测试 工程 经 理 ， 第 一 条 建议 就 是 去 了 解 你 的 产品 。 对 

















于 与 被 测 产 品 相 关 的 任何 使 用 问题 ， 测 试 工 程 经 理 都 应 该 是 专家 。 假 如 
你 是 Chrome 浏 览 器 的 测试 工程 经 理 ， 你 应 该 知道 如 何 安装 扩展 程序 、 
更 换 浏 览 器 的 外 观 、 设 置 同步 关系 、 更 改 代 理 服务 器 设置 、 查 看 
DOM. friX cookie 的 存放 位 置 、 如 何以 及 何 时 进行 版 本 更 新 每。 这些 
问题 的 答案 ， 测 试 工程 经 理 都 应 该 能 脱口 而 出 。 从 用 户 界 面 到 后 台数 据 
中 心 实 现 ， 测 试 工程 经 理 都 应 该 对 自己 负责 的 产品 做 到 了 如 指 掌 。 

我 记得 我 曾经 问 Gmail 的 测试 工程 经 理 ， 为 什么 我 的 邮件 的 读 取 速 
度 很 慢 。 他 癌 我 解释 了 Gmail 服务 器 是 如 何 工 作 的 ， 以 及 远程 数据 中 心 
在 那个 周末 发 生 的 一 个 问题 所 融 来 的 后 果 。 我 本 来 没 想 要 了 解 这 么 多 细 
节 。 但 是 很 明显 那 家 伙 知 道 Gmail 是 如 何 工 作 的 ， 而 且 了 解 影 响 其 性 能 
的 最 新 信息 。 在 Google， 这 就 是 我 们 对 测试 工程 经 理 的 期 望 : 相关 项 目 
中 最 强 的 产品 专家 。 

与 之 相关 的 第 二 条 建议 是 知人 善 用 。 在 Google， 测试 工程 经 理 是 
产品 专家 并 理解 要 有 哪些 工作 需要 完成 ， 不 过 他 作为 经 理 ， 在 实际 完成 
这 些 工 作 的 过 程 中 仪 起 到 少量 的 作用 。 真 正 完成 工作 的 人 是 问 他 汇报 的 
TE 和 SET。 了 解 这 些 人 以 及 他 们 的 能 力 ， 这 对 能 否 快速 高 效 地 完成 工作 
BREE. 

Google 的 工程 师 都 很 聪明 ， 但 是 数量 上 并 不 充裕 。 我 们 从 Google 之 
外 招来 的 测试 工程 经 理 都 反映 他 们 项 目 缺 少 人 手 。 我 们 的 回应 只 是 报 以 
微笑 。 我 们 知道 这 不 是 问题 。 如 果 能 够 知人 善 用 ， 经 理 可 以 让 一 个 小 团 
队 发 挥 出 像 大 团队 一 样 的 作用 。 

资源 紧缺 能 够 促使 项 目的 参与 者 职 贡 明确 。 想 象 一 下 一 大 群 人 带 小 
孩 的 情形 : 一 个 人 喂奶 ， 一 个 人 换 尿 布 ， 一 个 人 喜 孩 子 乐 ， 等 等 。 这 些 
人 中 没有 一 个 能 和 操劳 的 单亲 家 长 相 比 更 投入 地 照顾 孩子 。 正 是 由 于 孩 
子 的 养育 资源 的 不 足 ， 这 才 使 得 照看 孩子 的 过 程 更 明确 有 效 。 资 源 不 足 
的 时 候 ， 你 只 能 被 迫 做 得 更 好 。 你 能 更 快 地 发 现 流 程 中 的 缺陷 从 而 避免 
重复 犯错 。 你 会 制定 一 个 喂奶 时 间 表 并 按时 执行 ， 你 会 把 纸尿裤 放 在 各 









































种 随手 可 得 的 地 方 。 

这 种 方式 也 会 用 在 Google 的 软件 测试 项 目 中 。 问 题 不 能 简单 地 通过 
增加 入 手 来 解决 ， 束 需要 使 用 工具 并 使 其 流水 线 化 。 没 用 的 目 动 化 测试 
会 被 径 用 。 不 能 发 现 回 归 问 题 的 测试 根本 不 会 被 编写。 如 果 是 开 及 人 员 
要 求 测试 人 员 做 这 样 的 事 ， 他 们 自己 也 必须 要 参与 其 中 。 不 允许 不 必要 
的 工作 存在 ， 也 不 需要 不 产生 价值 的 改进 。 

测试 工程 经 理 有 职员 优化 整个 过 程 。 测 试 工程 经 理 如 果 对 产品 有 深 
入 的 理解 ， 束 能 清楚 地 找到 最 高 优先 级 的 工作 ， 对 相关 模块 进行 合理 的 
履 闸 。 训 试 工程 经 理 如 条 对 他 的 团队 成 员 足 够 了 解 ， 就 能 根据 具体 的 测 
试问 题 安排 具有 最 适合 测试 拉 能 的 员工 。 很 显然 ， 有 些 工作 可 能 由 于 资 
源 问题 而 无 法 完成 。 但 是 ， 如 果 测 试 工程 经 理 处 理 得 当 ， 这 些 工作 会 是 
那 那 些 最 低 优先 级 的 部 分 ， 或 者 可 以 直接 外 包 出 去 或 交 给 众 包 用 户 和 内 
部 试用 用 户 完 成 。 

当然 ， 测 试 工程 经 理 很 可 能 犯错 误 ， 但 是 由 于 他 的 角色 太 重 要 了 ， 
这 些 错 误 可 能 代价 很 大 。 好 在 测试 工程 经 理 一 般 都 相互 认识 而 且 关 系 密 
切 ( 资 源 紧缺 的 妨 一 个 好 处 ， 束 是 人 数 少 到 他 们 不 但 能 相互 认识 ， 还 可 
以 定期 交流 一 下 〉， 经 第 相互 交流 经 验 共同 提 融 。 














4.2 获得 项 目 和 人 员 


Google 的 工程 师 有 一 个 特点 ， 其 所 负 贡 的 项 目 是 流动 的 。 一 般 来 
说 ，Google 员 工 每 隔 18 个 月 就 可 以 自由 选择 一 个 不 同 的 项 目 。 当 然 ， 这 
不 是 必须 的 。 让 一 位 热爱 移动 操作 系统 的 工程 师 去 做 YouTube 也 是 不 明 
智 的 。 项 目的 流动 性 ， 给 员工 提供 了 体验 各 种 不 同 项 目的 机 会 。 很 多 人 
选择 多 年 从 事 一 个 项 目 甚至 整个 职业 生涯 都 致力 于 此 ， 但 也 有 不 少 人 热 
囊 于 对 Google 做 的 各 种 事情 都 能 有 所 了 解 。 

测试 工程 经 理 可 以 从 这 种 氛围 里 获得 很 多 机 会 ， 如 随时 都 可 以 找到 
具有 各 种 经 验 的 Google 员 工 。 想 象 一 下 ， 作 为 Google 地 图 的 测试 工程 经 
理 ， 你 可 以 选择 Chrome 和 Google Docs 的 工程 师资 源 。 你 的 团队 可 以 随 
时 补充 大 量具 有 相关 经 验 或 者 全 新 视野 的 工程 师 。 

当然 ， 负 面 因素 是 有 经 验 的 员工 也 可 能 转 到 其 他 团队 。 这 对 测试 工 
时 经 理 提 出 的 要 求 是 不 能 过 于 依赖 于 某 些 成 员 。 不 能 仅仅 依赖 于 某 位 明 
星 测试 人 员 。 那 些 促成 这 位 测试 人 员 成 为 明星 的 东西 ， 必 须要 沉 尝 成 可 
用 的 工具 ， 或 者 总 结 成 一 套 方法 ， 这 样 可 以 帮助 其 他 人 也 能 走 上 这 条 成 
为 明星 的 道路 。 

在 Google， 测 试 工程 经 理 管理 着 一 套 称 为 资源 配置 的 流程 。 资 源 配 
置 通过 一 个 ” Web 应 用 支持 ， 测 试 工程 经 理 可 以 在 上 面 发 布 职位 空缺 消 
轧 ， 而 TE 和 SET 可 以 在 上 面 寻 找 新 的 工作 机 会 。 工 程 师 只 要 在 当前 的 项 
目 工 作 了 18 个 月 以 上 束 可 以 自由 离开 ， 而 不 需要 事先 获得 现在 的 经 理 或 
者 未 来 的 经 理 的 许可 。 当 然 ， 这 种 转岗 应 该 保证 产品 发 布 日 期 或 者 项 目 
的 重要 里 程 碑 不 受 影 响 ， 但 实际 中 我 们 从 未 看 到 有 什么 争议 《〈 注 : 我 们 
之 前 解释 过 的 20% 自 由 时 间 在 这 里 也 有 页 献 。 工 程 师 从 项 目 A 转岗 到 项 









































目 B， 他 通常 会 在 开始 的 一 个 季度 里 用 20% 的 时 间 为 新 项 目 B 工 作 ， 而 在 
下 个 季度 时 翻转 这 个 比例 ， 花 80% 的 时 间 在 项 目 B，20% 的 时 间 在 原来 
的 项 目 A) 。 

Noogler (Google 的 新 员工 ) 也 在 同样 的 web 应 用 上 被 分 配 。 测 试 
工程 经 理 审 阅 新 员工 的 简历 和 面试 得 分 ， 并 在 系统 里 给 一 个 “出 价 ”。 在 
入 职高 峰 期 间 ， 每 个 项 目 都 有 多 名 候选 人 ， 而 每 名 候选 人 也 可 能 被 提名 
到 多 个 项 目 。 苋 争 是 常态 ， 测 斌 工程 经 理 经 常 需 要 在 资源 配置 会 议 上 ， 
针对 项 目 或 人 员 进行 争 辩 ， 最 终 由 测试 总 监 组 成 的 仲裁 委员 会 和 Patrick 
Copeland， 或 者 由 他 任命 的 某 人 做 出 最 终 的 决定 。 分 配 一 般 会 遵照 以 下 
优先 级 进行 。 

新 员工 的 技能 与 项 目 所 需 技能 的 匹配 程度 。 我 们 希望 为 员工 创造 通 














回 成 功 的 环境 。 
新 员工 的 个 人 意愿 。 如 宁 工 程 师 能 得 到 他 所 期 符 的 工作 ， 他 才 可 能 
更 快乐 地 工作 。 


项 目 需要 。 战 略 性 的 或 便利 性 的 项 目 有 时 候 会 被 优先 考虑 。 

过 往 的 分 配 记 录 。 如 果 一 个 项 目 一 直 没 能 获得 所 需 的 人 手 ， 那 它 就 
会 过 期 。 项 目 分 配 其 实 不 是 一 件 烦 人 的 事情 。 测 试 经 理 如 果 某 一 次 没 能 
获得 所 需 的 新 员工 ， 他 下 一 次 还 有 机 会 。 另 一 方面 ， 新 员工 万 一 被 分 配 
到 不 适合 的 项 目 中 ， 这 也 不 是 什么 大 不 了 的 事 ， 因 为 转 风 也 很 容易 。 

获取 新 项 目 也 是 测试 工程 经 理 必 须要 做 的 事情 。 随 着 测试 工程 经 理 
的 经 验 和 声望 不 断 提 升 ， 他 可 以 管理 更 多 更 大 规模 的 项 目 。 除 了 工程 师 
以 外 ， 其 他 一 些 资 历 尚 浅 的 测试 经 理 也 可 以 直接 同 他 汇报 。 

这 个 过 程 通常 是 :开发 团队 组 织 一 个 会 议 邀 请 一 位 可 以 信赖 的 测试 
工程 经 理 ， 问 他 介绍 自己 的 项 目 ， 和 希望 他 能 够 为 这 个 项 目 而 组 建 一 文 测 
试 团队 。 当 然 ，Patrick Copland 作为 最 高 的 测试 总 监 ， 可 以 直接 指派 某 
些 极为 重要 的 项 目 。 

这 种 让 测试 工程 经 理 来 选择 项 目的 办 法 ， 主 要 是 为 了 避免 产生 糟糕 

















的 项 目 。 那 些 不 重视 质量 的 团队 ， 只 能 上 自己 完成 测试 工作 。 那 些 不 愿意 
编写 小 型 测试 用 例 、 不 进行 恨 好 单元 测试 获 盖 的 团队 将 会 不 航 理 皮 ， 目 
生 目 灭 。 

那些 “宠物 ”项目 《就 是 那些 不 太 可 能 成 功 或 开发 可 以 目 己 测试 的 简 
单项 目 ) 都 会 被 测试 经 理 弃 之 不 理 。 无 论 从 Google 的 角度 、 用 户 的 角 
度 ， 还 是 测试 经 理 职业 发 展 的 角度 ， 都 不 值得 为 这 样 的 项 目 安排 人 力 。 





4.3 影 啊 力 


Google 与 其 他 软件 公司 不 同 的 一 点 就 是 特别 强调 影 啊 力 。 在 
Google， 你 随时 可 以 听 到 “影响 力 ” 这 个 词 。 工 程 师 需 要 在 团队 里 发 挥 影 
响 力 ， 他 的 工作 需要 能 够 影响 到 整个 产品 。 测 试 团队 整体 上 也 要 有 影响 
力 。 团 队 的 整体 贡献 应 该 非常 出 众 ， 而 且 整 个 团队 和 产品 都 应 该 持续 不 
斯 地 提高 。 

每 位 工程 师 的 个 人 目标 都 应 该 是 建立 影响 力 。 测 试 团 队 的 目标 也 应 
该 是 建立 影响 力 。 有 责任 确保 测试 团队 影响 力 的 那个 人 就 是 测试 工程 经 
理 。 

晋升 取决 于 员工 对 项 目 产 生 的 影响 力 。 年 度 评 审 时 ， 经 理 需 要 通过 
员工 对 项 目 产 生 的 总 体 影响 来 描述 他 的 贡献 。 工 程 师 的 级 别 越 高 ， 对 他 
产生 的 影响 力 的 期 望 也 就 越 高 。 测 试 工程 经 理 管理 团队 ， 负 责 团 队 成 员 
的 成 长 ， 也 就 是 让 他 们 可 以 衡量 自己 发 挥 的 影响 力 。 

测试 工程 经 理 需要 管理 团队 中 测试 工程 师 和 测试 开发 工程 师 所 发 挥 
的 影响 。 

我 们 组 建 测试 团队 的 目的 就 是 让 他 们 发 挥 影响 力 。 我 们 没有 要 求 测 
试 工 程 经 理 和 他 的 团队 来 保证 产品 的 质量 。 我 们 没有 要 求 他 们 保证 产品 
的 按时 发 布 。 我 们 不 会 由 于 产品 不 成 功 或 用 户 不 喜欢 而 怪罪 测试 团队 。 
在 Google， 根 本 没有 任何 一 个 团队 会 为 这 些 事情 负责 。 但 是 ， 每 个 团队 
部 有 页 了 任 理 解 项 目的 目标 和 计划 ， 并 保证 团队 成 员 各 司 其 职 来 正面 影响 

这 些 事情 。 在 Google， 对 工程 师 最 好 的 倚 奖 束 是 称赞 他 的 影响 力 。 而 对 
于 测试 工程 经 理 来 说 ， 就 是 建立 一 文 有 影响 力 的 团队 。 
年 度 评审 和 晋升 决议 中 ， 影 响 力 是 一 个 非常 重要 的 因素 。 年 轻 的 工 


















































程 师 需要 完成 他 目 己 的 工作 ， 而 高 级 工程 师 需 要 在 团队 层面 和 产品 层面 
体现 影响 力 ， 到 了 更 高 级 别 以 后 ， 还 需要 在 整个 Google 都 能 发 挥 影响 力 
《这 点 后 面 还 会 讲 到 ) 。 

测试 工程 经 理 要 让 团队 具有 这 样 的 影响 力 ， 并 根据 每 位 工程 师 的 职 
位 级 别 和 具备 的 能 力 帮 助 他 们 发 挥 相应 的 影响 力 。Google 的 经 理 不 会 对 
测试 过 程 的 每 个 细 市 一 一 过 问 。 他 们 不 会 全 程 参 与 项 目 ACC 模 型 的 制 
定 。 他 们 不 会 逐 行 审查 测试 染 构 代码 。 他 们 会 确保 这 些 测试 模型 、 代 
码 、 工 具 都 交 由 确实 通晓 这 些 的 工程 师 完成 ， 并 得 到 正确 地 使 用 ， 开 友 
团队 可 以 理解 它们 的 目的 并 认真 对 竺 其 结果 。 训 试 工程 经 理 组 建 团 队 ， 
并 把 工作 分 配给 他 认为 合适 的 人 ， 然 后 束 退 大 二 线 不 再 干扰 工程 师 完 成 
他 们 的 工作 。 测 试 工程 经 理应 该 保证 每 项 工作 都 具有 一 定 的 影响 力 。 

想象 一 个 测试 团队 中 每 位 工程 师 都 有 能 力 完 成 极 共 影响 力 的 工作 ， 
测试 过 程 中 的 每 个 单元 都 有 明确 的 目的 和 明显 的 效果 。 开 发 团队 非常 理 
解 测 试 工作 并 一 起 参与 ， 直 到 最 终 完 成 目标 。 这 束 是 测试 工程 经 理 要 做 
的 事 一 一 把 这 个 设想 变 为 现实 。 

测试 工程 经 理 还 有 一 项 工作 就 是 处 理 路 团队 的 沟通 。 优 秀 的 训 试 工 
程 经 理 ， 特 别 是 那些 经 验 丰 富 的 人 ， 绝 不 会 把 自己 限制 在 自己 的 产品 范 
围 之 内 。Google 有 着 儿 十 个 同时 开发 、 测 试 、 使 用 的 产品 。 每 个 产品 都 
有 一 个 或 多 个 测试 工程 经 理 〈 取 决 于 产品 的 大 小 和 复杂 度 ) ， 每 个 经 理 
都 尽力 让 目 己 的 团队 有 具有 影响 力 。 作 为 目 己 团 队 的 代表 ， 测 试 工程 经 理 
必须 努力 发 现 团队 里 的 好 方法 、 好 工具 ， 并 分 享 给 其 他 团队 。 好 的 方法 
和 工具 ， 只 有 在 更 多 的 产品 中 成 功 应 用 ， 才 能 体现 出 更 大 的 影响 力 。 

Google 以 创新 而 闻名 ， 它 的 测试 团队 也 不 例外 。 大 量 在 Google 内 部 
创造 和 使 用 的 测试 工具 和 方法 (其 中 很 多 也 已 经 对 外 发 布 ) 体现 了 这 种 
创新 精神 ， 也 文 持 了 我 们 的 测试 团队 。Google 并 没有 强迫 测试 工程 经 理 
在 沟通 方面 做 些 什 么 ， 他 们 的 日 程 表 上 也 没有 每 月 一 次 的 定期 交流 会 。 
他 们 不 断 地 交流 ， 是 因为 不 想 错过 使 用 其 他 团队 那些 了 不 起 的 创新 工具 















































和 方法 的 机 会 。 谁 不 愿意 用 这 些 具 有 影响 力 的 新 工具 呢 ? 谁 不 愿意 把 工 
作 完 成 得 更 漂亮 呢 ? 

当然 ， 交 流 对 于 创新 的 输出 同样 有 价值 。 当 你 发 现 某 些 创新 在 你 的 
团队 和 产品 上 效果 很 好 ， 能 让 它们 在 其 他 团队 也 用 起 来 会 感 党 更 好 ， 尤 
其 是 当 越 来 越 多 的 团队 使 用 甚至 成 为 公司 里 测试 的 必 备 要 素 的 时 候 ， 那 
真是 棒 极 了 。 跨 团队 的 交流 必须 建立 在 创新 的 基础 之 上 上， 否则 就 是 浪费 
时 间 。 





Ankit Mehta 在 成 为 测试 工程 经 理 之 前 是 一 名 测试 工程 师 CTE) 。 
在 最 初 的 几 年 ，Ankit Mehta 一 直 在 和 测试 自动 化 代码 打交道 。 他 作为 技 
术 经 理 的 第 一 个 大 项 目 正 是 Gmail。 

Gmail 是 个 巨大 挑战 。 它 非常 庞大 ， 涉 及 很 多 快速 发展 的 部 分 。 
Gmail 整合 了 很 多 Google 的 产品 ， 如 Buzz、Docs、Calendar 等 。 它 需要 处 
理 那 些 已 经 站 稳 脚 跟 的 竞争 对 手 所 文 持 的 邮件 格式 。Gmail 有 非常 庞大 
的 后 台 系 统 。 要 知道 Gmail 是 一 个 云 服 务 ， 用 户 可 以 通过 任意 一 种 主流 
浏览 器 进行 访问 。 有 数 亿 用 户 在 使 用 。 Gmail， 他 们 希望 打开 浏览 器 后 
Gmail 就 能 工作 ， 这 从 某 种 意义 上 也 增加 了 复杂 性 。 用 户 需 要 快速 、 可 
靠 、 安 全 的 服务 ， 并 且 还 能 包括 自动 处 理 垃圾 邮件 。 增 加 新 特性 必须 保 
证 之 前 的 功能 持续 可 用 ， 这 使 得 测试 任务 变 得 非常 复杂 。 一 旦 Gmail 出 
现 问题 ， 全 世界 的 人 束 会 在 第 一 时 间 发 现 。 因 此 ， 测 试 工程 经 理 贡 任 重 
Ke 

我 们 对 Ankit 进 行 了 采访 ， 了 解 Gmail 是 如 何 测试 的 。 

HGTS: 告诉 我 们 你 是 怎么 接手 一 个 新 测试 项 目的 吧 。 你 首先 会 做 
什么 事 ， 问 哪些 问题 ? 

Ankit: 加 入 一 个 新 项 目的 头 几 个 星期 ， 我 主要 用 来 倾听 而 不 是 发 

意见 。 深 入 理解 团队 非常 重要 ， 要 学 习 产 品 的 架构 ， 了 解 团 队 的 最 新 
动态 。 我 不 能 接受 一 位 医生 在 观察 我 不 

到 五 分 钟 的 时 间 就 给 我 开具 抗 生 系 类 的 药品 。 同 样 地 ， 我 也 不 期 望 
一 个 测试 团队 可 以 接受 我 一 开始 就 提出 的 什么 解决 方案 。 在 进行 诊断 之 
前 你 必须 先 要 学 习 。 




















HGTS: 我 们 和 你 一 起 工作 过 ， 你 可 不 是 那 种 安静 的 类 型 啊 。 我 估 
计 你 是 不 开口 则 已 ， 一 开口 就 会 滔滔 不 绝 ， 如 黄河 泛滥 般 一 发 而 不 可 收 
18! 

Ankit: US, €W! 不 过 我 也 不 会 什么 都 说 。 多 年 来 ， 通 过 不 断 地 
聆听 ， 我 发 现 最 有 力 的 问题 就 是 “为 什么 ”。 为 什么 你 会 进行 这 些 测试 ? 
为 什么 你 会 想到 这 个 用 例 ? 为 什么 你 选择 把 这 个 任务 自动 化 而 不 是 那个 
任务 ?为 什么 我 们 要 投入 做 这 个 工具 ? 

我 感觉 人 们 有 时 候 做 事 只 是 因为 看 到 别人 这 么 做 ， 或 者 他 们 测试 某 
个 特性 的 时 候 只 是 做 那些 他 们 知道 怎么 做 的 东西 。 如 果 你 不 问 他 们 为 什 
么 ， 他 们 自己 也 不 会 费心 思考 这 事 儿 ， 因 为 他 们 已 经 把 那些 作为 了 一 种 
习惯 。 

HGTS: 那 什么 样 的 答案 算 好 答案 呢 ? 

Ankit: 第 一 ， 因 为 它 能 够 提高 产品 的 质量 ; 第 二 ， 因 为 它 能 提高 
工程 师 开发 产品 的 效率 。 其 他 答案 都 没 这 些 重要 。 

HGTS: Gmail 团队 注重 生产 效率 是 出 了 名 的 ， 所 以 我 理解 你 会 这 
么 说 。 不 过 除了 质量 和 效率 之 外 ， 你 对 测试 工程 经 理 还 有 什么 建议 来 建 
立 一 个 健康 的 工作 氛围 呢 ? 

Ankit: 团队 的 气氛 非常 重要 。 我 深信 优秀 的 产品 和 优秀 的 测试 团 
队 紧 密 相 关 。 你 必须 要 有 拥有 合适 技能 的 人 ， 正 确 的 工作 态度 ， 并 做 正 
确 的 事情 。 特 别 是 团队 中 资深 的 人 ， 因 为 团队 的 文化 和 氛围 很 大 程度 上 
来 源 于 这 些 人 。 拿 Gmail 来 说 ， 我 花 了 三 到 六 个 月 来 建立 团队 ， 让 团队 
有 具 有 凝聚 力 ， 每 个 人 都 能 理解 其 他 人 的 角色 。 当 你 有 了 一 个 好 团队 ， 就 
不 会 由 于 一 两 个 人 的 不 适应 而 出 现 问题 。 测 试 团 队 和 开发 团队 的 关系 也 
是 一 种 非常 重要 的 气氛 。 当 我 刚 加 入 的 时 候 ， 这 种 气氛 并 不 好 。 测 试 团 
队 自 顾 自 的 工作 ， 而 开发 团队 也 不 认可 测试 团队 ， 这 是 非常 不 好 的 。 

HGTS: 你 肯定 把 这 个 问题 解决 了 ， 能 具体 谈 谈 你 是 怎么 处 理 的 
吗 ? 























Ankit: 我 刚 加 入 Gmail 的 时 候 ， 测 试 团 队 只 是 专注 于 执行 一 系列 
WebDriver 的 测试 ， 每 个 版 本 执行 一 次 。 每 次 执行 测试 结果 都 会 由 绿 
(成 功 ) EA CAWO ， 然 后 再 花 大 力气 修复 这 些 测试 ， 让 他 们 能 够 再 
变 绿 。 开 发 团队 没有 过 多 质疑 这 种 做 法 ， 由 于 这 些 测试 通 常 还 是 能 发 现 
一 些 重要 问题 的 ， 因 此 这 种 做 法 就 一 直 延 续 下 来 了 。 但 是 曾经 有 好 几 回 
代码 变化 很 大 ， 测 试 代码 根本 来 不 及 修改 。 整 个 过 程 非常 脆弱 ， 不 能 适 
应 Gmail 的 变化 。 这 是 一 种 过 度 投 入 ， 因 为 要 让 它 最 终 发 挥 作用 所 需 的 
JEAN T. 

可 能 是 因为 我 新 加 入 的 这 个 项 目 ， 所 以 能 发 现 一 些 其 他 人 不 能 发 现 
的 事情 。 在 我 看 来 处 理 延 迟 是 Gmail 最 大 的 问题 。 严 格 来 说 ， 从 用 户 的 
角度 来 说 ，Gmail 最 大 的 特性 就 是 它 的 速度 。 我 料想 如 果 我 们 为 开发 团 
以 解决 了 这 个 问题 ， 我 们 就 能 赢得 他 们 的 尊重 并 开始 建立 平等 的 关系 。 

这 是 个 难题 。 我 们 必须 测试 Gmail 老 版 本 和 新 版 本 速度 上 的 差异 ， 
当 新 版 本 的 速度 下 降 时 及 时 发 现 。 然 后 我 们 需要 检查 所 有 新 版 本 里 改动 
的 代码 ， 并 找到 速度 变 慢 的 原因 ， 从 而 修复 这 个 问题 。 这 是 一 个 痛 苗 的 
过 程 ， 非 常 耗 时 ， 并 伴随 大 量 的 党 试 和 失败 。 

我 曾经 和 一 位 测试 开发 工程 师 一 起 想 办 法 ， 想 让 Gmail 的 速度 变 
慢 ， 以 便于 我 们 能 更 好 地 观察 前 端 和 后 台数 据 中 心 的 通讯 ， 从 而 发 现 造 
成 性 能 下 降 的 原因 。 我 们 最 后 到 处 找 了 些 旧 机 器 ， 和 弄 了 一 大 堆 512M 内 
存 、40GB 硬 盘 和 低速 CPU 的 机 器 。Gmail 在 这 些 机 器 上 运行 速度 慢 了 很 
多 ， 我 们 可 以 把 所 需 的 信号 分 辨 出 来 ， 然 后 开始 运行 长 时 间 的 压力 测 
试 。 头 几 个 月 特别 艰苦 ， 我 们 有 几 次 误 报 。 我 们 花费 了 大 量 的 精力 搭建 
基础 设施 ， 可 没有 什么 产 出 。 但 是 后 来 ， 回 归 测 试 的 需求 滚滚 而 来 。 我 
们 可 以 测量 到 昌 秒 级 的 性 能 损耗 并 把 数据 记录 下 来 。 开 发 工程 师 能 在 几 
小 时 内 就 发 现 产 生 延 人 运 的 问题 ， 而 不 是 以 前 的 几 个 星期 。 这 样 就 可 以 趁 
问题 刚 出 现 的 时 候 就 开始 调试 ， 而 不 像 以 前 得 在 几 个 星期 以 后 才能 
始 。 这 件 事 立即 为 测试 团队 赢得 了 尊重 ， 以 至 于 在 我 们 着 手 开展 接 下 来 























的 重要 任务 《修复 疹 到 端的 测试 和 搭建 高 效 的 负载 测试 平台 ) 时 ， 开 发 
工程 师 实际 上 还 自发 地 帮助 我 们 。 整 个 团队 发 现 了 高 效 测试 带 来 的 价 
值 。Gmail 的 发 布 周期 从 每 三 个 月 缩短 到 每 周 ， 再 到 每 天 都 能 向 我 们 的 
部 分 用 户 发 布 新 的 版 本 。 

HGTS: 所 以 经 验 就 是 解决 摊 一 些 难 题 来 启 得 尊重 。 我 喜欢 这 点 。 
不 过 做 完 这 些 之 后 你 还 做 了 什么 ? 

Ankit: 其 实 ， 难 题 永远 也 解决 不 完 ! 不 过 你 说 的 对 ， 基 本 思路 就 
是 关注 最 重要 的 事 。 我 们 确定 Gmail 最 紧要 的 问题 ， 然 后 一 起 解决 它 
们 。 通 过 团队 配合 ， 你 会 发 现 这 些 问题 并 不 那么 困难 。 当 然 ， 我 还 是 坚 
信 只 应 该 关注 最 重要 的 事情 。 每 当 我 发 现 团 队 打算 做 太 多 的 东西 的 时 
候 ， 就 好 像 你 要 同时 做 五 件 事 情 ， 但 是 每 件 只 能 完成 BOM EIN Te, Rat 
会 要 求 他 们 退回 来 重新 安排 优先 级 。 把 你 需要 做 的 事情 减少 到 两 到 三 
件 ， 但 都 能 完成 到 100%。 这 样 团队 才能 获得 真正 的 成 就 感 ， 而 不 是 好 
多 事情 在 他 们 手 里 没有 完成 。 如 果 这 些 工作 最 后 都 能 积极 地 影响 到 产品 
质量 ， 那 么 我 也 会 感到 特别 高 兴 。 

HGTS: 大 家 都 知道 Google 的 每 个 经 理 都 有 很 多 直接 下 属 ， 而 且 经 
理 自 己 还 需要 从 技术 上 有 上 所 贡献 。 你 怎么 平衡 这 些 事 情 ? 能 告诉 我 们 你 
自己 是 怎么 完成 那些 技术 工作 的 吗 ? 

Ankit: 管理 下 属 和 与 其 他 人 沟通 确实 是 一 种 和 干扰。 我 其 实 总 结 了 
两 个 办 法 来 让 自己 能 保持 技术 敏锐 度 并 像 工 程 师 一样 参 与 其 中 。 

第 一 ， 在 与 开发 工程 师 和 测试 开 友 工程 师 团队 沟通 的 过 程 中 ， 有 好 
多 事情 可 以 做 ， 我 可 以 选择 留 下 一 部 分 自己 来 完成 。 我 在 设计 阶段 会 积 
极地 参与 ， 持 续 地 跟 进 项 目 并 且 自 己 也 编写 测试 。 

第 二 ， 其 实 这 才 是 关键 的 部 分 。 如 果 你 想 做 一 些 技术 工作 ， 就 必须 
尽量 排除 管理 方面 市 来 的 和 干扰。 起 先 ， 我 每 周 都 花 一 两 天 的 时 间 做 我 自 
己 的 工作 。 我 有 一 个 项 目 是 把 Google Feedback 整 合 到 Gmail 里 ， 这 个 工 
作 让 我 能 从 开发 的 角度 来 看 待 测试 。 当 我 碰 到 一 个 脆弱 的 测试 ， 或 者 测 









































试 架构 的 某 些 部 分 拖 慢 了 我 的 测试 进度 时 ， 我 就 能 够 理解 那些 全 职 的 开 
发 工程 师 怎么 看 待 我 们 的 测试 工作 了 。 尽 管 如 此 ， 只 要 我 在 Google 总 部 
的 办 公 室 ， 人 们 总 能 想 办 法 找到 我 ， 所 以 我 就 跑 到 苏黎世 Gmail 团队 的 
办 公 室 去 。 虽 然 在 那儿 有 九 个 小 时 的 时 差 ， 但 是 环境 就 安静 多 了 ， 我 在 
那里 也 不 是 谁 的 经 理 。 我 可 以 混 进 一 个 技术 团队 而 不 怎么 引 人 注 目 。 我 
在 苏黎世 干 了 好 多 活 儿 ! 

HGTS: 你 对 测试 项 目的 人 员 配 备 有 什么 建议 吗 ? 开发 测试 比 是 多 
少 会 比较 好 ? SET 和 TE 的 比例 呢 ? 

Ankit: 人 员 的 问题 其 实 很 简单 ， 那 束 是 绝 不 妥协 。 选 用 不 合适 的 
人 来 填充 名 额 永 远 要 比 等 待 合适 的 人 员 要 糟糕 。 只 选用 最 好 的 人 ， 不 能 
动摇 。Google 不 让 公布 人 员 比 例 数据 ， 不 过 以 前 我 们 团队 中 测试 人 员 的 
比例 比 正常 水 平 高 很 多 。 自 从 我 们 解决 了 很 多 最 初 的 问题 ， 并 得 到 开发 
工程 师 的 文 持 以 后 ， 我 们 的 比例 就 降 到 和 Google ”的 标准 水 平 差不多 
了 。 从 技能 分 配 的 角度 来 说 ，Gmail 的 经 验 是 用 20% 的 测试 人 员 进 行 探 
索 式 测试 。 任 何 关 注 用 户 体验 的 产品 都 需要 探索 式 测 试 。 还 有 30% 的 测 
试 工 程 师 关注 于 产品 的 整体 性 测试 ， 他 们 和 测试 开发 工程 师 一 起 来 保证 
测试 的 效果 。 另 外 50% 的 工作 ， 是 测试 开发 工程 师 开 发 相关 的 自动 化 测 
试 和 工具 ， 以 保持 代码 库 的 健壮 和 提高 开发 人 员 的 工作 效率 。 我 不 敢 说 
我 在 下 一 个 项 目 还 会 按照 这 样 的 比例 分 配 ， 但 是 这 个 比例 对 Gmail 来 说 
是 有 效 的 。 

HGTS: 我 知道 你 现在 开始 负责 _ Google+ 的 测试 了 。 在 新 项 目 中 你 
发 现 哪些 在 Gmail 的 经 验 是 最 有 价值 的 ? 

Ankit: 首先 ， 不 要 把 你 所 有 的 精力 都 放 到 前 端 。Gmail 拥 有 最 庞大 
的 分 布 式 后 台 系 统 ， 那 里 还 有 很 多 的 测试 问题 我 们 尚未 解决 。 除 此 之 
外 ， 还 有 很 多 经 验 教训 值得 吸取 。 

使 用 与 应 用 程序 开发 语言 相同 的 编程 语言 来 编写 测试 。 

让 负责 开发 新 特性 的 人 同时 负责 相应 测试 的 执行 ， 他 需要 对 漏 掉 的 

















测试 负责 。 

关注 测试 基础 设施 的 建设 ， 让 测试 的 编写 和 执行 非常 容易 ， 甚 至 比 
忽略 它们 还 要 容易 。 

20% 的 用 例 履 盖 了 80% 的 使 用 场景 〈 可 能 会 有 些 出 入 ) 。 把 这 20% 
自动 化 而 别管 剩 下 的 。 把 那些 测试 通过 手工 完成 。 

这 里 是 Google， 速 度 才 是 王道 。 如 果 用 户 只 在 平一 件 事 ， 那 就 是 速 
度 。 确 保 我 们 的 产品 足够 快 。 进 行 性 能 分 析 以 便于 可 以 证 明 给 所 有 人 
c. 

与 开发 团队 的 沟通 至 关 重 要 。 如 果 这 点 做 的 不 好 ， 你 就 会 疲 于 应 
付 ， 那 可 不 是 什么 好 事 。 

Google 的 DNA 里 富 含 着 创新 精神 。 测 试 团队 也 应 该 被 看 做 创新 者 。 
发 现 重要 的 问题 并 能 创造 性 地 提出 解决 方案 。 

HGTS: 你 有 发 现 技 术 团 队 可 能 遇 到 哪些 陷阱 吗 ? 

Ankit: 有 的 。 假 设 我 们 知道 用 户 的 需求 ， 然 后 进行 了 大 规模 的 改 
动 或 编写 了 大 量 的 代码 提供 新 特性 ， 却 没有 进行 小 规模 的 试验 。 如 果 用 
户 不 喜欢 这 些 改动 ， 麻 烦 就 大 了 ， 而 针对 这 些 特性 构造 的 测试 框架 再 好 
也 是 浪费 。 因 此 ， 要 先 为 少量 用 户 放出 一 个 版 本 ， 获 得 必要 的 反馈 ， 然 
后 再 为 大 量 的 自动 化 测试 进行 投资 。 

另外 ， 试 图 构造 完美 的 解决 方案 可 能 花费 太 长 的 时 间 ， 到 时 候 市 场 
的 发 展 早已 超出 你 的 想象 了 。 应 该 快速 迭代 ， 展 现 阶段 性 成 果 。 

最 后 ， 就 像 开 车 一 样 ， 你 必须 找到 测试 的 离合 点 。 过 早 编写 测试 ， 
有 可 能 由 于 架构 的 变化 导致 全 部 工作 作废 。 辱 等待 太 久 ， 则 又 可 能 错失 
测试 良机 而 导致 没有 充分 测试 。 测 试 驱动 开发 是 不 错 的 方法 。 

HGTS: 对 于 个 人 来 说 有 什么 陷阱 吗 ? 年 轻 的 测试 工程 师 和 测试 开 
发 工程 师 在 新 项 目 里 会 犯 哪些 错误 ? 

Ankit: 是 的 。 他 们 可 能 一 上 来 就 开始 和 干 ， 不 明 所 以 。 他 们 写 了 很 
多 测试 ， 但 忘记 思考 为 什么 要 写 这 些 测试 ， 怎 么 让 这 些 测试 为 整体 目标 
































服务 。 编 写 测试 的 时 候 ， 他 们 往往 没有 意识 到 他 们 还 要 负责 维护 这 些 测 
试 。 测 试 开发 工程 师 应 该 牢记 测试 应 该 是 开发 人 员 的 工作 而 他 们 自己 应 
该 专心 让 测试 成 为 开发 人 员工 作 中 的 一 环 。 我 们 通过 编写 工具 帮助 开发 
人 员 做 到 这 点 ， 而 且 应 该 让 开发 人 员 在 维护 开发 代码 的 同时 也 负责 维护 
测试 代码 。 这 样 一 来 ， 测 试 开发 工程 师 才 能 集中 精力 让 测试 执行 得 更 
快 ， 更 容易 分 析 。 

测试 工程 师 有 时 候 会 迷失 方向 ， 做 起 测试 开发 工程 师 的 工作 。 我 们 
锅 望 测试 工程 师 更 全 局 地 看 待 整个 系统 ， 全 面 地 掌控 整个 产品 。 他 们 的 
重点 应 该 是 从 最 终 用 户 角 度 考 虑 的 测试 ， 帮 助 测试 开发 工程 师 和 开发 工 
程 师 确保 所 有 的 测试 和 底层 测试 框架 都 被 正确 有 效 地 使 用 。 测 试 工程 师 
编写 的 工具 和 对 问题 的 诊断 应 该 能 够 影响 整个 产品 。 

HGTS: 除了 你 前 面 提 到 的 性 能 方面 的 自动 化 测试 以 外 ， 还 有 什么 
测试 方面 的 工作 让 Gmail 获得 了 巨大 的 收益 吗 ? 

Ankit: JavaScript 目 动 化 测试 。 我 们 为 Gmail 本 号 加 入 了 一 个 用 于 上 自 
动 化 测试 的 servlet。 通 过 它 ， 开 发 人 员 束 可 以 使 用 与 前 端 开 发 一 致 的 编 
程 语 言 编 写 端 到 端的 测试 〈 译 注 : 端 到 端的 测试 是 指 涉 及 整个 应 用 系统 
环境 ， 在 现实 世界 使 用 时 的 情形 模拟 的 测试 。) 。 因 为 它 使 用 很 多 相同 
的 函数 和 程序 库 ， 开 发 人 员 对 于 如 何 编写 测试 代码 很 熟悉 ， 没 有 学 习 曲 
线 。 他 们 可 以 很 容易 地 写 出 一 些 测试 ， 来 检验 他 们 的 新 代码 是 否 影 响 了 
Gmail 的 正常 功能 ， 也 能 够 更 好 地 保护 他 们 开发 的 特性 不 被 其 他 开发 人 
TM. ME, Gmail 的 每 个 新 特性 都 至 少 会 有 一 个 通过 这 个 servlet 编 
写 的 测试 。 最 棒 的 是 ， 在 我 现在 负责 的 社交 产品 里 面 我 也 在 用 这 个 方 
法 。 我 们 已 经 有 了 大 约 两 万 个 自动 化 测试 ! 

还 有 压力 测试 。 在 Google 你 不 做 压力 测试 不 可 能 蒙混 过 天 ， 因 为 我 
们 的 所 有 应 用 都 有 大 量 的 用 户 ， 后 台数 据 中 心 的 负载 会 非常 大 。 我 们 基 
本 上 必须 复制 一 份 线 上 环境 并 引入 真实 用 户 流量 。 我 们 花费 了 几 个 月 的 
时 间 分 析 线 上 系统 的 使 用 情况 ， 构 建 了 一 个 代表 用 户 的 使 用 模型 。 接 下 





























来 ， 为 了 数据 更 为 真实 ， 我 们 使 用 和 真实 的 Gmail 数据 中 心 一 样 的 机 器 
来 运行 我 们 的 压力 测试 。 然 后 ， 我 们 观察 测试 环境 和 被 监控 的 真实 环境 
上 的 结果 差异 。 我 们 及 现 了 很 多 性 能 退化 的 问题 ， 并 帮助 开发 人 员 细 化 
和 定位 了 这 些 问题 。 

最 后 ， 我 们 更 专注 于 预防 bug 而 不 是 检测 bug， 这 为 我 们 带 来 了 巨 
大 收益 。 我 们 推动 自动 化 测试 在 代码 提交 之 前 更 早 地 执行 ， 避 人 免 了 大 量 
质量 不 佳 的 代码 污染 项 目 。 这 让 测试 团队 随时 保持 在 最 前 党 ， 文 持 项 目 
产 出 局 质量 的 版 本 。 这 也 给 我 们 的 探索 式 测试 人 员 提 出 了 更 大 的 挑战 。 

HGTS: 在 选用 人 才 方 面 你 已 经 很 有 经 验 了 。 你 现在 转 到 社交 产品 
项 目 上 ， 你 的 测试 团队 需要 找 什么 样 的 人 呢 ? 

Ankit: 我 需要 寻找 那些 不 会 沉迷 于 系统 的 复杂 性 、 遇 到 困难 的 问 
题 时 能 够 分 解 为 可 执行 的 步骤 并 能 最 终 解决 的 人 。 我 需要 有 执行 力 的 
人 ， 他 们 会 被 紧迫 感激 发 而 不 是 是 跑 。 我 需要 能 够 在 创新 和 质量 中 掌握 
平衡 的 人 ， 他 们 不 应 该 只 满足 于 发 现 更 多 的 bug。 但 最 重要 的 是 ， 我 需 
要 能 看 到 他 们 的 激情 。 我 需要 那些 真正 想 做 测试 的 人 。 

HGTS: 这 也 是 我 们 最 后 一 个 问题 。 在 测试 领域 什么 东西 会 引发 你 
的 激情 呢 ? 

Ankit: 我 喜欢 由 快速 迭代 和 高 质量 带 来 的 挑 成 。 这 两 者 相互 和 矛盾 
但 又 都 很 重要 。 这 个 经 典 的 矛盾 迫使 我 为 这 两 个 目标 不 断 优化 ， 而 又 不 
会 伤害 我 目 己 或 我 的 团队 。 创 建 一 个 产品 不 难 ， 但 要 快速 创建 一 个 高 质 
量 的 产品 会 有 相当 大 的 难度 ， 而 这 正 是 使 我 的 工作 一 一 语 于 挑战 又 充满 
乐趣 。 
































Hung Dang 是 Google 的 一 位 技术 经 理 ， 专 门 领导 Android 测 试 团队 。 
在 加 入 Google 之 前 ， 他 曾 在 Apple 和 Tivo 公 司 做 工程 师 。 

Android 的 战略 重要 性 不 用 多 说 了 。 从 很 多 方面 来 说 ， 它 和 我 们 的 
搜索 和 广告 业务 一 样 巨 大 ， 是 Google 的 另 一 项 重要 资产 。 因 此 ， 它 特别 
受 高 层 的 关注 ， 也 吸引 了 一 大 批 一 流 人 才 。 它 的 代码 库 增 长 非常 快 ， 
天 的 版 本 里 新 增 数 百 项 改进 是 很 正常 的 事 。Android 是 一 个 操作 系统 ， 

一 个 平台 ， 有 数 百 万 的 应 用 运行 其 上 ， 拥 有 一 个 革 肠 发 展 的 开发 者 生态 
环境 。 运 行 Android 系 统 的 设备 增长 迅速 ， 涵 盖 了 众多 三 商 的 手机 和 平 
板 电脑 。 设 备 兼 容 性 测试 、 电 源 管理 测试 、 应 用 程序 测试 等 的 方方面面 
都 由 Hung 和 他 的 团队 承担 。 

本 书 作 者 Hung 坐 在 一 起 探讨 Android 到 底 是 如 何 测 试 的 。 

HGTS: 告诉 我 们 一 些 Android 测试 最 初 的 故事 吧 。 那 时 候 还 没有 
那么 多 设备 运行 Android 系 统 ， 它 的 测试 应 该 比 现 在 要 容易 很 多 吧 ! 

Hung: 很 不 幸 ， 事 情 真 不 是 那样 。 当 我 开始 领导 Android 的 时 候 ， 
这 个 团队 很 新 ， 而 且 很 多 成 员 没 有 测试 过 移动 设备 上 的 操作 系统 。 我 的 
第 一 件 任 务 就 是 建设 我 们 的 团队 和 建立 测试 的 基础 框架 。 测 试 项 目 最 初 
的 一 段 时 间 是 最 困难 的 。 而 当 你 建立 好 了 合适 的 团队 ， 建 设 好 正确 的 基 
础 框 如 和 测试 流程 ， 无 论 产品 最 终 变 得 多 么 复杂 和 多 样 化 ， 测 试 起 来 对 
你 来 说 也 不 是 什么 难事 。 一 切 都 没有 发生 的 时 候 才 真正 是 最 困难 的 阶段 。 

HGTS: 那 我 们 好 好 聊 聊 这 件 事 吧 ， 因 为 好 多 测试 经 理 也 正在 与 项 
目 初 始 阶 段 的 困难 斗争 。 你 能 讲 讲 你 在 Android 初 期 的 经 历 吗 ? 

Hung: 那些 日 子 是 巨大 的 挑战 。 我 们 做 的 第 一 件 事 就 是 让 大 家 就 




















悉 产 品 。 我 要 求 我 的 所 有 测试 人 员 都 成 为 产品 专家 。 团 队 里 的 每 个 人 都 
必须 了 解 产品 系列 的 每 个 方面 ， 没 有 商量 的 余地 。 当 你 了 解 到 了 那 种 程 
度 ， 你 就 能 了 解 测试 中 的 困难 是 什么 ， 然 后 你 就 可 以 根据 这 些 需 求 来 建 
设 你 的 团队 了 。 聘 请 那些 能 够 理解 这 些 测试 难题 的 人 《在 Google 这 也 包 
括 从 其 他 团队 拉 人 〉 。Android 的 产品 系列 涉及 很 多 层面 ， 从 硬件 到 操 
作 系 统 ， 再 到 框架 ， 再 到 应 用 模型 ， 再 到 市 场 推 广 。 很 多 部 分 需要 专业 
的 测试 挝 能 。 我 育 完 做 的 事情 就 是 分 析 清 楚 ， 然 后 建设 团队 处 理 这 些 问 
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团队 建立 好 以 后 ， 我 给 他 们 定 下 了 基调 : 创造 价值 ! 最 好 还 能 找到 
可 复制 的 创造 价值 的 方法 。 从 开发 到 产品 管理 ， 测 试 都 应 该 是 一 股 推动 
的 力量 ， 否 则 你 就 是 在 阻碍 发 展 。 早 期 的 日 子 里 ， 创 造价 值 就 是 帮助 产 
品 成 功 发 布 。 那 时 候 我 们 做 的 事情 已 经 超出 了 测试 的 范围 ， 但 都 是 为 能 
发 布 优秀 的 产品 出 力 。 我 们 促成 了 每 日 的 构建 ， 并 让 整个 团队 都 同步 使 
用 同一 个 版 本 。 大 家 都 拧 成 一 股 强 ， 团 队 的 工作 模式 也 建立 了 起 来 。 团 
队 的 每 个 成 员 都 被 培训 使 用 统一 的 风格 来 报告 、 分 析 和 管理 bug。 这 就 
是 一 群 正确 的 人 在 一 起 合作 做 正确 的 事 。 

HGTS: 好 吧 ， 这 听 起 来 很 困难 啊 ， 团 队 是 怎么 做 到 的 ? 

Hung: 其 实 ， 老 团队 里 的 很 多 人 都 离开 了 ， 大 约 有 80% 的 人 都 离 
开 了 。 不 过 留 下 的 人 成 了 技术 负责 人 ， 带 领 新 来 的 人 。 不 是 每 个 人 都 适 
合 每 个 项 目 ， 在 Google 这 么 大 的 公司 ， 如 果 Android 项 目 不 适 合 你 ， 很 
可 能 在 其 他 地 方 可 以 找到 合适 的 项 目 。Google 把 大 量 的 项 目 组 合成 了 一 
个 非常 健康 的 测试 生态 环境 。 

HGTS: 那 好 处 是 什么 ? 

Hung: 好 处 就 是 这 样 能 够 关注 价值 。 我 们 做 的 每 件 事 都 有 明确 的 
目的 。 我 们 质疑 所 有 的 事情 : 测试 用 例 、 每 项 目 动 化 测试 。 其 实 我 们 正 
在 做 的 很 多 事情 就 通 不 过 这 种 审视 。 如 果 自 动 化 不 能 带 来 明确 的 价值 ， 
我 们 就 废弃 它 。 所 有 的 事情 都 是 价值 驱动 的 ， 这 才能 成 就 团队 。 如 果 要 








我 给 新 晋 测试 经 理 什 么 建议 ， 我 会 告诉 他 们 : 你 们 做 的 每 一 件 事 都 要 创 
造价 值 ， 并 且 能 够 持续 地 创造 价值 。 

HGTS: 虽然 你 讲 得 轻松 ， 但 很 明显 这 件 事 做 起 来 并 不 容易 ! 还 是 
讲 一 下 你 所 描述 的 团队 的 一 些 细节 吧 。 我 们 有 bug 的 报告 流程 ， 但 是 很 
显然 这 其 中 还 有 很 多 其 他 的 东西 。 你 是 怎么 组 织 这 些 工作 的 ? 

Hung: 我 喜欢 把 Android 用 术语 “主线 (pillar) ”来 描述 。 我 知道 你 
们 测试 Chrome ”OS 的 时 候 用 不 同 的 术语 ， 不 过 我 还 是 喜欢 主线 这 个 概 
念 ， 我 们 所 有 的 测试 人 员 都 通过 一 个 主线 来 明确 。 对 Android 来 说 ， 我 
们 有 四 大 主线 : 系统 主线 〈 内 核 、 媒 体 等 ) 、 框 架 主 线 、 应 用 主线 和 市 
场 主线 。 我 们 每 个 测试 人 员 都 对 其 中 的 一 个 主线 进行 测试 。 

HGTS: 这 容易 理解 。 我 喜欢 把 测试 人 员 按 照 需要 不 同 技能 的 主线 
来 组 织 的 方式 。 这 样 ， 你 的 团队 既 有 人 熟知 底层 的 东西 ， 也 有 人 了 解 上 
层 的 东西 ， 而 主线 的 划分 突出 了 这 些 能 力 ， 真 不 错 ! 那么 自动 化 测试 
WE? 你 又 是 怎么 利用 它 的 ? 

Hung: 我 学 会 了 对 自动 化 测试 保持 怀疑 的 态度 。 测 试 人 员 可 以 对 
产品 的 自动 化 测试 的 一 个 远大 目标 投入 巨大 的 热情 ， 花 费 数 个 月 的 时 间 
编写 自动 化 测试 ， 然 而 产品 或 平台 的 一 次 变化 就 可 能 让 这 些 努 力 都 付 之 
一 炬 。 投 入 人 力 编写 那些 不 能 经 受 时 间 检 验 的 自动 化 测试 是 最 大 的 一 种 
浪费 。 我 认为 ， 自 动 化 测试 需要 能 够 快速 编写 、 快 速 执行 、 解 决 特定 的 
问题 。 如 果 你 不 能 立即 理解 一 个 自动 化 测试 用 例 的 目的 ， 那 就 说 明 这 个 
用 例 太 复杂 了 。 你 需要 让 自动 化 测试 足够 简单 ， 有 确定 的 范围 ， 最 重要 
的 是 要 产生 价值 。 比 如 ， 我 们 有 一 系列 自动 化 测试 来 检验 一 个 构建 版 
本 ， 以 确定 它 是 不 是 足够 可 靠 ， 可 以 从 金 丝 稚 发 布 版 本 转向 Droid 发 布 
版 本 。 

HGTS: 等 一 下 ! 什么 是 Droid 发 布 版 本 ? 

Hung: 喔 ， 对 不 起 。 就 像 我 刚 开 始 说 的 ， 我 们 Android 团 队 做 事 总 
有 些 特 别 。 我 们 的 发 布 版 本 和 你 们 在 Chrome 中 用 的 不 一 样 。 我 们 有 人 金 
































224€ (Canary) 、 安 卓 货 (Droid-food) (类 似 于 dogfood， 但 仅 限 于 

Android 团 队 ) 、 试 验 货 (Experimental) 、Google 货 (Google-food) ， 
KAGE CStreet-food) 这 几 个 发 布 版 本 。 最 后 的 大 街 货 也 就 是 对 外 发 布 
的 版 本 。 其 他 团队 也 有 类 似 的 概念 ， 只 不 过 他 们 会 用 其 他 的 名 字 。 

HGTS: 好 吧 ， 所 以 你 们 有 一 个 自动 化 测试 集 来 检验 金 丝 件 版 本 的 
bug， 通 过 后 才能 变 成 Dev 版 本 。 我 了 解 了 ， 小 而 录 。 你 们 有 专职 的 测试 
开发 工程 师 负 员 这 些 自动 化 吗 ? 

Hung: 一 幸子 也 不 会 有 。 我 的 测试 人 员 全 都 是 通才 。 具 体 来 说 ， 
每 个 人 都 能 做 手工 测试 ， 真 的 是 每 个 人 都 能 。 探 索 式 测试 是 深入 学 习 理 
解 一 个 产品 的 最 佳 途径 。 我 永远 不 会 让 一 个 测试 开发 工程 师 成 为 一 个 框 
架 开 发 者 。 我 希望 他 们 深入 产品 并 了 解 如 何 使 用 它 。 每 个 测试 人 员 都 必 
须 强调 用 户 。 他 们 必须 是 专家 级 的 用 户 ， 通 晓 整 个 产品 的 每 个 细节 。 在 
我 的 团队 ， 我 们 把 如 稳定 性 测试 、 电 源 管理 、 性 能 测试 、 压 力 测 试 和 第 
三 方 应 用 程序 的 快速 检查 都 留 给 自动 化 测试 完成 。 举 个 例子 ,没有 人 能 
够 手动 发 现 相机 的 内 存 泄露 或 在 各 个 平台 上 验证 一 个 单一 特性 的 功能 
一 一 这 些 都 需要 自动 化 。 大 量 重复 性 的 工作 不 适合 手工 测试 ， 或 者 一 些 
需要 机 器 才能 达到 的 高 精度 测试 束 必 须 通 过 自动 化 测试 来 完成 。 

HGTS: 所 以 你 们 的 测试 工程 师 的 数量 要 比 测试 开发 工程 师 多 不 
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工程 师 的 两 倍 。 只 不 过 测试 开发 工程 师 和 测试 工程 师 的 界限 并 不 那么 明 
显 ， 有 时 候 可 能 会 从 事 对 方 的 工作 。 我 不 太 在 意 他 们 的 职称 ， 只 要 能 创 
造价 值 就 行 。 

HGTS: 好 的 ， 咀 们 谈 谈 手 工 测试 吧 。 你 显然 很 认真 地 对 竺 对 手工 
测试 我 为 此 佩服 你 〉。 

Hung: 我 是 手工 测试 坚定 不 移 的 文 持 者 。 坐 下 来 目 己 钻研 整个 产 
品 个 是 明智 之 举 。 我 们 需要 仔细 观察 要 进行 测试 的 每 日 构建 版 本 ,分析 











里 面 有 些 什么 。 哪 些 是 变化 了 的 ? 有 多 少 行 新 增 或 修改 的 代码 ?有 多 少 
新 的 或 更 改过 的 功能 我 们 需要 处 理 ? 提交 代码 更 新 的 是 哪些 程序 员 ? 与 
昨天 的 版 本 相 比 ， 变 化 的 代码 分 布 有 多 三? 这 些 问题 都 能 帮助 我 们 抓 住 
重点 ， 而 不 是 目 顾 目地 探索 整个 产品 。 针 对 每 日 构建 的 版 本 ， 我 们 可 以 
把 重点 放 在 发 生 改 变 的 地 方 ， 来 让 目 己 的 工作 更 有 效率 。 

这 也 意味 着 团队 之 间 的 沟通 非常 重要 。 我 要 求 每 个 人 部 要 进行 探索 
式 的 测试 ， 因 此 减少 大 家 的 重复 工作 很 重要 。 我 们 有 每 日 沟通 会 ， 来 确 
定 哪 些 东 西 是 重要 的 、 需 要 测试 的 ， 保 证 大 家 可 以 一 起 来 完成 它们 。 手 
工 测试 对 我 来 说 就 是 抓 重 点 和 做 沟通 。 有 了 这 两 点 我 就 认可 所 付出 的 努 
力 就 是 值得 的 、 有 价值 的 。 

HGTS: 你 会 为 手工 测试 创建 文档 吗 ? 还 是 纯粹 的 探索 式 测 试 ? 

Hung: 是 探索 式 的 ， 但 也 为 它 创建 文档 。 在 两 种 情况 下 ， 我 们 会 
为 手工 测试 创建 文档 。 第 一 种 情况 是 ， 当 我 们 有 一 个 通用 的 用 例 ， 它 可 
以 被 每 次 的 构建 版 本 使 用 而 且 也 是 主要 的 测试 路 径 。 我 们 把 这 些 用 例 记 
录 下 来 放 到 GTCM 中 ， 这 样 所 有 的 测试 人 员 或 测试 外 包 都 能 获取 和 使 用 
这 些 文档 。 第 二 种 情况 是 ， 我 们 为 每 个 功能 点 记录 测试 指导 方案 。 每 个 
功能 点 都 有 目 己 的 特性 。 手 工 测 试 人 员 把 这 些 特 性 作为 一 些 指导 原则 记 
录 下 来 ， 一 般 后 来 的 测试 人 员 能 够 在 后 续 的 版 本 里 很 快 接手 这 个 功能 点 
的 测试 。 总 的 来 说 ， 我 们 会 伦 时 间 为 系统 级 的 用 例 和 特定 于 功能 点 的 指 
导 方 针 创建 文档 。 

HGTS: 谈 谈 你 们 对 开发 人 员 的 要 求 吧 。 你 会 要 求 他 们 提供 规格 说 
明 书 吗 ? 会 要 求 他 们 使 用 测试 驱动 开发 吗 ? 单元 测试 呢 ? 

Hung: 在 理想 世界 里 ， 我 猜想 在 写 每 行 代码 之 前 都 能 为 之 写 好 测 
试用 例 ， 而 每 个 测试 用 例 又 来 源 于 规格 说 明 书 。 也 许 这 样 的 理想 世界 真 
的 存在 。 我 不 知道 。 不 过 在 这 个 快速 友 展 并 充满 章 新 的 世界 ， 你 只 会 得 
到 你 能 得 到 的 东西 。 如 果 你 写 了 规格 说 明 那 么 非常 感谢 ， 我 会 好 好 利用 
它 。 但 现实 是 ， 你 必须 遵循 一 些 现 有 的 东西 。 要 求 提 供 规格 说 明 书 并 不 
































会 奏效 。 坚 持 要 求 单 元 测试 也 不 会 让 那些 单元 测试 更 有 价值 。 规 格 说 明 
书 或 单元 测试 用 例 并 不 会 〈 除 了 一 些 明 显 的 回归 错误 ) 帮助 我 们 更 好 地 
发 现 真 实用 户 会 遇 到 的 问题 。 这 就 是 我 们 的 世界 ， 测 试 人 员 的 世界 。 你 
只 有 手 上 的 这 些 东西 ， 还 要 利用 好 这 些 东 西 为 产品 、 为 团队 增加 价值 。 

我 的 经 验 是 ， 所 有 的 工程 师 出 发 点 都 是 好 的 。 没 有 谁 想 让 产品 错误 
不 断 。 但 是 创新 不 可 能 被 计划 得 那么 恰到好处 。 时 间 计 划 和 竞争 压力 也 
不 会 因为 我 对 产品 质量 的 抱怨 而 发 生 改 变 。 我 可 以 继续 抱怨 或 者 开始 做 
点 儿 什 么 产生 价值 ， 我 选择 了 后 者 。 

我 的 现实 情况 是 每 天 都 有 成 百 上 千 行 的 代码 更 新 ， 对 ， 我 是 说 每 
天 。 有 杰出 的 、 富 于 创造 力 的 开发 人 员 ， 就 应 该 有 同样 数量 的 杰出 的 、 
富 于 创造 力 的 测试 人 员 与 之 相配 。 没 有 时 间 抱 怨 ， 也 不 能 要 求 别 人 去 做 
什么 ， 而 是 要 自己 努力 创造 价值 。 

HGTS: Hung， 真 高 兴 你 在 我 们 这 边 儿 ! 好 ， 现 在 我 要 问 几 个 可 以 
快速 回答 的 问题 ， 准 备 好 了 吗 ? 如 果 你 有 多 余 的 一 天 来 测试 Android 的 
发 布 版 本 ， 你 会 做 什么 ? 

Hung: 要 是 真有 多 出 来 的 一 大， 就 会 再 多 出 一 个 构建 版 本 ! 但 是 
不 可 能 有 多 出 来 的 一 天 ， 这 种 事 不 可 能 发 生 ! 

HGTS: 讲 得 好 ! 好 吧 ， 有 什么 遗憾 吗 ? 你 能 讲 一 个 在 发 布 版 本 里 
没 能 发 现 的 bug， 而 导致 了 用 户 不 快 的 事 吗 ? 

Hung: 首先 ， 地 球 上 所 有 的 测试 人 员 都 经 历 过 这 个 。 没 有 任何 软 
件 发 布 以 后 没有 bug。 这 是 不 可 避免 的 。 对 我 自己 来 说 ， 每 当 这 事 儿 发 
生 都 令 我 痛苦 。 

HGTS: 好 了 ， 没 这 么 容易 过 关 ! 说 一 个 ! 

Hung: 好 吧 。 几 个 版 本 以 前 ， 有 一 个 动态 壁纸 的 bug。 在 某 种 情况 
下 ， 壁 纸 在 启动 时 就 会 月 涯 。 这 个 问题 很 好 修复 ， 我 们 很 快 就 改 了 ， 没 
什么 用 户 受 到 影响 。 不 过 这 还 是 不 应 该 发 生 的 。 当 时 我 们 是 做 了 测试 
的 ， 相 信 我 ， 当 时 我 们 已 经 做 了 测试 的 ! 



































Joel Hynoski 是 一 名 资深 的 测试 工程 经 理 ， 在 Google 成 立 之 初 束 在 西 
雅 图 一 柯 特 兰 的 办 公 室 工作 ， 多 年 来 他 负责 了 各 种 各 样 的 项 目 。 他 现在 
负责 包括 Chrome 和 Chrome OS 在 内 的 所 有 的 客户 端 产 品 。 在 办 公 室 大 家 
都 知道 他 的 外 号 是 “上 古怪 的 澳洲 人 ”， 平 静 的 时 候 表现 出 测试 人 员 的 特 
质 ， 争 吵 起 来 义 像 个 愤怒 的 经 理 。 

本 书 作者 最 近 和 Joel 一 起 座谈 他 的 测试 理念 和 在 Chrome 和 Chrome 
OS 中 的 经 验 。 

HGTS: 快 点 儿 ， 告 诉 我 们 你 用 是 的 什么 电脑 ! 

Joel: 《〈 举 起 他 的 笔记 本 电脑 ) Chromebook = Jl JL ! 

HGTS: 能 让 我 们 看 看 你 背包 里 面 还 有 什么 好 玩意 儿 吗 ? 

Joel: 哈 ! 我 忽 里 有 个 手机 ， 附 近 还 有 个 平板 电脑 ， 不 过 我 自己 一 
直 在 用 我 正在 测试 的 东西 。 我 用 这 人 台 Chromebook 做 所 有 的 事情 ， 当 我 
发 现 有 什么 干 不 了 的 时 候 ， 我 就 报 个 bug。 

HGTS: 作为 测试 工程 经 理 ， 你 管理 着 工具 条 、 安 装 器 、Chrome 浏 
wzy Chrome OS， 以 及 所 有 其 他 我 们 开发 的 客户 端 操 作 系 统 和 上 面 运 
行 的 应 用 。 这 真 会 涉及 一 大 堆 开 发 团队 啊 。 你 是 怎么 平衡 这 么 多 事情 
的 ? 

Joel: 其 实测 试 本 喘 就 是 一 种 平衡 的 艺术 。 一 方面 ， 我 们 必须 能 让 
产品 发 布 ， 对 每 个 发 布 版 本 做 所 需 的 检查 以 保证 没有 问题 。 另 一 方面 ， 
我 们 必须 开发 优秀 的 自动 化 测试 ， 并 为 自动 化 投入 开发 自己 的 框架 和 基 
础 设施 。 再 有 ， 我 们 需要 围绕 “开发 一 构建 一 测试 一 发 布 ”的 流程 模式 计 
划 和 安排 我 们 的 工作 。 还 有 ， 测 试 专家 们 不 断 癌 世界 展示 他 们 进行 测试 
































的 最 新 方法 ， 如 有 果 你 不 试验 这 些 新 东西 ， 你 会 觉得 自己 是 在 原 地 踏步 。 

HGTS: 你 是 变 戏 法 儿 的 还 是 有 三 头 六 臂 ? 说 正经 的 ， 你 们 怎么 把 
这 些 事情 有 条 理 地 组 织 起 来 ? 

Joel: KEM SE PR. KURA PS BAT, FSET n] Bes 
都 会 为 它 让 步 。 这 里 面 总 是 有 个 权衡 。 我 们 是 敏捷 团队 ， 但 也 会 进行 最 
后 的 回归 验证 。 我 们 做 探索 式 测试 ， 但 我 们 也 需要 跟踪 多 个 发 布 版 本 和 
各 种 平台 。 我 不 相信 绝对 的 事物 。 

真实 的 情况 是 ， 没 有 一 种 单一 的 模型 适用 于 所 有 团队 。 即 使 在 同一 
个 公司 ， 也 有 多 样 性 。 举 例 来 说 : 我 的 Chrome 团 队 和 我 的 Chrome OSH 
用 两 套 不 同 的 流程 ， 而 他 们 其 实 还 都 坐 在 同一 贱 楼 里 呢 ! 你 能 说 其 中 一 
种 就 比 另 一 种 好 吗 ? 这 个 就 要 依 情 况 而 论 了 ， 我 能 做 的 就 是 帮助 两 个 团 
队 相 互 交 流 哪些 东西 是 成 功 的 ， 哪 些 东 西 对 测试 团队 来 说 能 够 有 效 。 关 
键 是 我 的 测试 团队 必须 做 好 一 切 准 备 ， 知 晓 哪 些 能 行 ， 哪 些 不 行 ， 对 不 
行 的 事 儿 随时 抛弃 。 除 非 将 来 什么 时 候 我 真能 把 所 有 东西 都 能 理 顺 ， 目 
前 我 还 是 倾 回 于 使 用 一 种 综合 的 方式 ， 混 合 使 用 开发 自 测 、 脚 本 化 测 
试 、 探 索 式 测试 、 基 于 风险 的 测试 、 自 动 化 功能 测试 等 多 种 方法 。 

HGTS: 哎呀 ， 听 起 来 男 一 本 关于 Google 测 试 的 书 就 要 诞生 了 。 

Joel: 是 呀 ， 给 我 一 年 的 时 间 〈 把 它 写 出 来 ，》， 我 们 就 可 以 一 拼 销 
量 或 者 比比 在 亚 马 进 书店 上 的 评分 了 。 或 者 ， 虽 ， 我 们 是 Google 呀 ， 我 
们 可 以 比较 搜索 结果 的 相关 性 排名 ! 

HGTS: 行 ， 给 我 们 讲 讲 Chrome 和 Chrome OS 的 测试 吧 。 我 们 在 这 
本 书 里 用 很 大 篇 幅 讨 论 了 Google 中 Web 应 用 团队 使 用 的 测试 基础 设施 的 
话题 。 不 过 对 于 你 的 客户 端 领域 来 次 ， 那 些 都 不 适用 了 ， 是 吗 ? 

Joel: 的 确 ， 这 是 一 个 巨大 的 挑 成 。 客 户 端 在 Google 不 是 主流 。 我 
们 是 一 家 互联 网 公司 ， 我 们 了 解 的 是 如 何 开 发 和 测试 web 应用。 因此， 
对 我 们 所 有 的 客户 端 产 品 来 说， 我 们 必须 把 这 些 经 验 和 工具 转移 回 客户 
端 上 。Google 储 备 的 基础 设施 用 不 上 ， 这 是 一 个 实 实在 在 的 挑战 。 


























Chrome 本 号 是 由 一 个 小 的 试验 产品 发 展 而 来 的 ， 就 是 几 个 开发 工 
程 师 在 一 起 决定 他 们 能 开发 一 个 更 好 的 浏览 器 ， 然 后 他 们 让 全 世界 能 够 
使 用 它 〈 而 且 它 是 开源 的 ， 还 有 人 在 修改 它 ) 。 早 期 的 时 候 ， 测 试 是 开 
发 人 员 上 自己 完成 的 ， 然 后 一 些 核心 测试 人 员 尝 试 使 用 。 不 过 当 用 户 数 量 
超过 千 万 的 时 候 ， 它 必须 有 一 流 的 测试 团队 才 行 。 

HGTS: 我 们 认识 那些 家 伙 ， 他 们 确实 很 棱 。 那 你 现在 有 了 团队 
了 ， 面 临 的 最 大 的 挑战 是 什么 ? 

Joel: 是 互联 网 ! 说 真 的 ， 互 联网 不 断 地 变化 ， 而 Chrome 浏 览 器 必 
须 跟 上 。 插 件 、 扩 展 、 应 用 、 新 的 HTML 版 本 、Flash 等 都 在 不 断 地 出 
现 和 变化 。 变 化 的 组 合 超出 想象 ， 但 是 每 种 组 合 都 不 能 出 错 。 如 果 我 们 
发 布 的 浏览 器 不 能 显示 你 喜欢 的 网 站 ， 或 者 导致 你 言 欢 的 网 络 应 用 不 能 
运行 ， 你 想 都 不 想 束 会 选择 其 他 的 浏览 器 了 。 的 确 ， 我 们 还 支持 大 量 不 
同 的 操作 系统 ， 不 过 相 比 之 下 数量 就 少 多 了 ， 而 且 可 以 更 简单 地 通过 我 
们 的 虚拟 化 平台 来 进行 测试 。 因 此 ， 最 让 我 头疼 的 还 是 变化 多 端的 互联 
网 。 

HGTS: 多 样 性 的 问题 确实 是 测试 人 员 的 痛 点 。 我 们 知道 你 也 要 写 
本 自己 的 书 ， 所 以 不 能 把 你 的 风头 全 抢 了 ， 但 还 是 讲 两 项 你 用 来 驯服 不 
听话 的 互联 网 的 技术 或 方法 吧 ! 

Joel: 两 项 ? 唔 ， 好 吧 。 我 来 谈 谈 应 用 程序 的 兼容 性 和 UI 自动 化 
吧 ， 因 为 它们 都 挺 成 功 的 。 其 他 的 东西 我 都 留 在 下 本 书 里 讲 ， 嘿 嘿 ， 更 
棒 的 东西 。 

应 用 程序 的 兼容 性 问题 对 浏览 器 来 说 相当 重要 。 我 们 需要 回答 这 样 
的 问题 ，“Chrome 浏 览 器 能 兼容 互联 网 的 站 点 和 应 用 程序 吗 ?” 换 句 话 
说 ，Chrome 能 正确 显示 页 面 和 运行 web 应 用 吗 ? 很 显然 我 们 不 可 能 i 
行 完 完全 全 的 验证 ， 因 为 那么 多 网 页 和 应 用 我 们 没 法 一 一 试 过 。 即 便 我 
们 能 一 个 一 个 试验 ， 我 们 又 可 以 用 什么 东西 来 对 比 结果 呢 ? 我 们 解决 这 
个 问题 的 办 法 是 测试 那些 最 流行 的 站 点 (我 们 是 Google， 我 们 很 容易 知 


























道 是 哪些 站 点 ) ， 然 后 和 Chrome 的 参照 版 本 ， 其 至 其 他 浏览 占 进 行 比 

对 。 我 们 的 自动 化 程序 会 泻 染 数 干 个 站 点 然后 逐 点 来 比 对 显示 结果 。 我 

们 每 天 的 开 及 版 本 都会 做 送 检 的 测试 ， 所 以 很 快 能 找到 回归 的 问题 。 泻 
染 测 试 结果 任何 不 一 致 的 地 方 ， 都 会 有 人 人 工 来 检验 哪里 出 了 问题 。 

不 过 结果 检查 只 是 一 部 分 工作 。 我 们 还 需要 能 驱动 浏览 器 来 访问 站 
点 和 应 用 。 我 们 是 通过 UI 自动 化 来 做 到 这 点 的 。 你 ad A 
个 叫做 自动 化 代理 的 API 来 启动 浏览 器 ， 跳 转 到 一 个 URL， 查 询 浏 览 
ia ， 获 取 窗 口 和 标签 页 的 信息 ， 等 等 。 我 们 为 它 提供 了 一 套 Python 接 

这 样 你 就 能 用 Python 
编写 脚本 来 驱动 浏览 器 了 。 通 过 它 能 开发 出 强大 的 功能 自动 化 
测试 。 我 们 的 开发 人 员 和 测试 人 员 共 同 开发 了 一 个 庞大 的 测试 
库 “PyAuto〔 可 以 在 以 下 网 址 获取 关于 PyAuto 的 信息 : 
http://www.chromium.org/ developers/testing/pyauto. ) ” 

HGTS: &, (axe J Chrome) iat, MChrome OS 融 是 把 Chrome 
装 进 笔记 本 电脑 ， 所 以 测试 起 来 应 该 不 费力 了 ， 对 吧 ? 

Joel: 就 像 我 测 完 了 Safari 浏 览 器 ，Mac 0OS 系 统 也 测 完 了 ， 测 完了 
正 浏览 器 ，Windows 就 没 问 题 了 四 ? 对 ， 没 错 ! AIDE SATA S 
Chrome OS， 意 味 着 Chrome 测 试 起 来 就 更 且 类 了 ， 因 为 我 的 应 用 兼容 性 
自动 化 测试 还 得 多 增加 一 个 平台 ! 

不 过 我 告诉 你 : 我 们 掌控 整 条 产品 线 ， 这 是 件 好 事 。Google 可 以 控 
制 整 个 系统 ， 从 板 载 模块 一 直 往 上 到 用 户 界面 。 从 用 户 界 面 往 下 ， 所 有 
测试 是 重合 的 。 我 用 PyAuto 来 开发 非 
第 棒 的 自动 化 用 例 集 ， 可 以 大 量 复 用 Chrome 团 队 的 测试 例 。 另 外 ， 还 
有 固件 、 内 核 、GPU、 网 络 适 配 回 、 无 线 模 块 、3G..…. 我 们 现在 能 在 
这 么 小 的 盒子 里 寨 进 这 么 多 东西 ! 这 都 是 自动 化 测试 难以 企及 的 地 方 。 
这 些 测试 都 要 耗费 大 量 的 人 力 ， 根 本 不 符合 Google 超 高 的 开发 测试 比 。 
我 们 的 系统 从 原型 阶段 向 前 推进 ， 我 们 需要 把 电路 板 插 到 纸板 盒子 里 。 



































我 们 之 前 的 测试 工具 在 这 里 都 不 能 用 了 。Chrome OS 是 开源 的 ， 处 
于 一 般 的 Google 开 发 系统 之 外 。 基 本 上 不 夸张 地 说 ， 我 们 必须 把 很 多 测 
试 工 具 完 全 重新 开发 一 和 过， 重新 定义 这 些 工 具 使 用 的 流程 ， 再 把 工具 页 
献 给 外 部 开发 人 员 使 用 。 我 们 每 六 个 星期 就 要 发 行 三 个 发 布 版 本 (开发 
版 本 、beta 版 本 、 稳 定 版 本 ) 来 文 持 五 种 不 同 平 台 的 操作 系统 平台 。 笠 
亏 我 是 个 澳洲 人 ， 要 不 然 我 早 就 疾 了 ! 

因此 我 们 必须 有 创造 力 。 什 么 地 方 我 们 能 推动 开发 人 员 去 编写 工 
H? 我 们 能 要 求 合 作 伙 伴 和 制造 商 帮 我 们 做 多 少 测试 ? 我 们 怎么 让 测试 
团队 学 会 有 效 地 测试 硬件 ?我 们 能 制造 什么 工具 和 装备 来 降低 手工 测试 
的 负担 ?怎么 让 设计 好 的 测试 能 在 真实 的 设备 上 运行 ? 

HGTS: 我 们 担心 你 列 出 这 么 多 问题 ， 其 实 是 在 卖 关 子 ， 为 了 让 我 
们 等 着 读 你 的 书 来 找到 答案 ! 

Joel: 事实 上 你 只 能 等 ， 因 为 我 还 没完 全 找到 答案 ， 而 我 的 工作 就 
是 这 个 ! 我 们 还 在 准备 第 一 次 发 布 ， 我 们 必须 找到 有 效 的 办 法 ， 把 手工 
测试 和 自动 化 测试 结合 起 来 。Autotest (译注 : 关于 Anutotest 的 信息 可 以 
在 下 面 的 网 址 找到 http://autotest.kernel.org/。) 是 一 个 开源 测试 工具 ， 最 
初 是 为 了 测试 Linux 内核 而 开发 的 ， 我 们 把 它 改造 成 能 够 驱动 在 真实 
Chrome OS 硬件 上 执行 完整 自动 化 测试 的 工具 。 我 们 团队 为 其 做 了 大 量 
扩展 工作 ， 让 它 能 够 处 理 硬 件 平台 的 问题 。 这 些 扩展 代码 都 贡献 回 了 开 
源 社区 。Autotest 用 于 我 们 的 预 发 测试 、 冒 烟 测 试 、 版 本 验证 测试 ， 可 
以 同时 支持 虚拟 机 和 真实 人 硬件。 当然 ， 我 们 也 大 量 使 用 PyAuto 在 
Chrome OS 系统 上 通过 驱动 Chrome 浏 览 器 来 执行 自动 化 测试 。 

HGTS: 你 和 James 在 Google 很 有 名 ， 你 们 都 是 招聘 测试 人 员 方 面 的 
专家 。 当 招聘 中 的 候选 人 不 清楚 是 不 是 想 在 Google 做 测试 的 时 候 ， 你 们 
俩 都 能 说 服 他 们 。 你 们 有 什么 魔法 吗 ? 

Joel: James 和 我 共用 一 个 办 公 室 很 长 时 间 ， 我 们 俩 都 对 测试 这 个 行 
当 充 满 了 热情 。 所 以 我 们 俩 合 起 伙 来 干 这 事 再 合适 不 过 了 。 只 不 过 























James 是 个 大 嗓门 ， 会 议 发 言 人 那 种 类 型 ， 所 有 人 都 认识 他 。 他 能 说 服 
那些 人 是 因为 他 的 名 声 。 而 我 能 做 到 这 一 点 是 因为 我 能 让 他 们 对 测试 产 
生 热 情 。 我 们 的 方法 完全 不 同 ， 知 道 吗 ， 他 靠 的 是 运气 ， 我 靠 的 是 技 
A! 

我 开玩笑 呢 。 不 过 我 真 的 非常 喜欢 测试 ， 这 也 包括 喜欢 招聘 适合 
Google 测 试 的 工程 师 。Chrome 团 队 的 招聘 挺 有 难度 的 ， 因 为 它 天 然 有 一 
种 为 了 解决 问题 而 不 断 加 入 的 倾向 。 例 如 ， 怎 么 解决 在 一 周 之 内 为 三 个 
发 布 版 本 在 CR-48、 三 星 Chromebook， 以 及 新 的 实验 硬件 等 多 个 平台 进 
行 验证 的 问题 ? 嘿 ， 抓 上 30 个 外 包工 程 师 去 干 ! 怎么 在 24 小 时 之 内 验证 
Chrome OS 的 稳定 版 本 ? 要 是 有 18 个 手工 测试 人 员 ， 那 也 是 小 菜 一 碟 ! 

可 我 不 想 管 理 一 个 只 会 团 着 眼 执 行 测 试 脚本 的 测试 团队 。 那 太 无 聊 
了 。 我 想 管理 的 团队 应 该 能 够 做 开拓 性 的 测试 开发 ， 创 造 新 的 工具 ， 在 
他 们 日 常 工 作 中 发 挥 各 种 创造 力 。 所 以 我 给 团队 加 人 的 时 候 ， 我 要 让 团 
队 保持 一 个 很 高 的 技术 水 平 。 这 束 是 招聘 的 难度 。 你 怎么 找到 有 足够 技 
术 水 准 的 人 加 入 Google， 还 能 帮助 他 们 从 内 心 热爱 测试 工作 ? James 认 
识 很 多 这 种 人 ， 但 是 总 有 一 天 他 的 资源 会 用 光 。 我 采用 一 种 综合 的 方法 
来 挖掘 是 什么 东西 让 测试 真 的 非常 有 意思 并 且 充 满 挑 战 。 有 了 时候 你 自己 
都 会 感到 奇怪 ， 很 多 人 一 心 想 成 为 开发 人 员 ， 但 是 当 他 们 认识 到 测试 是 
怎么 一 回 事 儿 的 时 候 ， 他 们 非常 愿意 在 测试 领域 一 试 身 手 。 当 他 们 发 现 
测试 中 的 挑战 ， 体 会 到 其 中 的 乐趣 以 后 ， 你 就 真 的 找到 一 位 相当 棒 的 测 
WAR TS » 

HGTS: 来 宣传 一 下 ， 为 什么 选择 测试 这 个 职业 ? 

Joel: 测试 是 开发 过 程 里 工程 师 能 涉及 的 最 远 的 地 方 。 我 们 已 经 解 
决 了 很 多 关于 如 何 高 效 开 发 软件 的 问题 ， 但 是 测试 方面 还 有 很 大 的 空间 
可 以 探索 。 那 么 多 技术 任务 如 何 组 织 ? 如 何 高 效 地 进行 自动 化 测试 ?以 
及 如 何 保持 敏捷 但 又 不 操之过急 ? 测试 是 当前 软件 工程 领域 最 有 意思 的 
部 分 ， 而 且 有 非常 好 的 职业 发 展 的 机 会 。 你 不 再 只 能 管 软件 中 的 一 小 块 















































代码 ， 你 能 测试 HTML5 站 点 的 GPU 加 速 能 力 ， 你 能 验证 是 不 是 为 多 核 
CPU 做 了 足够 的 优化 以 达到 最 佳 的 性 能 ， 你 能 确保 沙 盒 是 真正 安全 的 。 
对 我 来 次 ， 这 些 东 西 能 让 我 非常 兴奋 ， 热 血 沸腾 ， 而 且 我 很 高 兴 能 在 
Google 的 测试 部 门 工作 ， 为 解决 最 其 挑战 性 的 问题 而 努力 。 


4.7 测试 总 监 


Google 测 试 总 监 的 自由 度 非常 高 。 很 难 用 一 段 文字 来 描述 测试 总 监 
的 工作 内 容 ， 因 为 他 们 每 个 人 都 有 很 大 的 自治 权利 ， 而 且 方 法 各 不 相 
同 。 他 们 只 有 很 少 的 一 些 共同 点 : 都 问 Patrick Copeland 汇 报 ， 使 用 共同 
的 Google 基 础 设施 ， 每 周 在 一 起 开 个 会 交流 各 自 领 域 的 问题 。 不 过 和 前 
面 一 部 分 讲述 的 技术 经 理 〈 技 术 经 理 向 总 监 汇报 ) 不 同 ， 总 监 可 以 用 任 
何 他 们 认为 合适 的 方式 来 指导 他 们 的 各 种 产品 团队 。 

总 监 负 责 批准 招聘 和 转 网 ， 全 面 掌 控 测 试 团 队 人 事 方面 的 各 种 问 
题 。 他 们 有 大 量 的 预算 用 于 提升 士气 ， 外 出 活动 等 ， 也 可 以 用 来 购 
3K*"schwag" CFA Google 标志 的 物品 、 背 包 、T 恬 、 夹 克之 类 的 ) 。 他 
们 经 党 攀比 着 为 测试 团队 订购 最 酷 的 东西 ， 让 每 个 人 都 能 得 到 它们 。 在 
公司 里 ， 测 试 团 队 是 一 个 非常 强大 的 品牌 ， 而 这 些 schwag 也 在 证 明 这 一 
点 。 真 的 ， 有 时 候 这 些 schwag 都 有 点 儿 像 病 毒 了 。James Whittaker 的 团 
队 曾 经 订购 了 一 批 T 恤 ， 印 着 犀利 的 标语 “The Web Works (you’re 
welcome)”(〈 互 联网 能 用 啦 ( 不 客气 )) ， 这 些 T 恤 大 流行 了 ， 甚 至 在 
Google 园 区 经 常 能 看 到 开发 人 员 也 和 穿着 它 。 

公司 没有 试图 在 各 个 团队 推行 什么 统一 的 东西 ， 包 括 schwag 在 内 。 
公司 也 没有 试图 让 各 个 领域 间 的 重复 工作 降 到 最 低 。 在 各 个 团队 都 茧 励 
创新 ， 大 家 都 攀比 着 开发 能 让 自己 更 强 的 自动 化 测试 和 各 种 工具 。 但 如 
条 能 把 相关 的 工作 融合 起 来 或 者 共同 开 有 ， 公 司 也 会 给 特别 奖励 ， 以 促 
进 相互 之 间 的 交流 。 另 外 ， 测 试 人 员 的 20% 上 自由 时 间 ， 也 会 经 常用 于 参 
与 其 他 总 监 下 面 的 团队 的 工作 。 实 际 上 ，20% 自 由 时 间 的 制度 经 常 被 总 
监 们 用 来 管理 那些 想 转 到 新 团队 的 测试 人 员 : 先 用 20% 的 时 间 为 新 团队 











工作 几 周 ， 然 后 再 反 过 来 花 20% 的 时 间 为 原来 的 团队 工作 几 周 来 完成 这 
种 转换 。 

Google 就 是 靠 这 种 自由 转岗 的 机 制 ， 来 保证 在 公司 层面 的 合作 精 
神 ， 而 不 至 于 被 人 性 中 自然 的 竞争 意识 所 分 裂 。Google 鼓励 工程 师 大 约 
每 18 个 月 就 转岗 一 次 。 注 意 是 鼓励 而 不 是 强制 。 总 监 们 必须 和 其 他 总 
监 保持 良好 的 关系 ， 因 为 大 家 都 共享 所 有 的 工程 师资 源 。 工 程 师 在 团队 
间 的 自由 流动 最 终 会 使 所 有 人 受益 。 

总 监 的 工作 就 是 发 挥 领导 才能 。 他 们 必须 建设 强大 的 团队 ， 让 他 们 
专注 于 发 布 高 质量 的 、 实 用 的 、 能 够 改变 世界 的 软件 产品 。 他 们 必须 有 
足够 的 技术 素养 来 赢得 工程 师 的 尊重 ， 具 备 创新 意识 来 跟 上 Google 高 束 
的 工作 方式 ， 良 好 的 掌握 管理 艺术 来 激发 员工 的 生产 力 。 他 们 必须 对 
Google 的 各 项 工具 和 基础 架构 了 如 指 掌 ， 这 样 才 不 会 浪费 宝贵 的 时 间 ， 
努力 争取 每 天 都 能 进行 发 布 。 

怎么 才能 做 到 这 些 而 成 为 一 名 优秀 的 测试 总 监 呢 ? 回答 这 个 问题 最 
好 的 方式 就 是 听 听 那些 真正 做 到 这 些 的 人 怎么 说 。 























Shelton Mar 是 测试 总 监 ， 和 很 多 其 他 公司 一 样 ， 职位 和 副 总 
裁 级 别 相当 。 他 是 Google 最 早 的 测试 人 员 之 一 ， 那 时 | Copeland 
都 还 没 来 ， 工 程 生产 力 (Engineering Productivity) 部 门 那 时 候 还 叫做 测 
oue Shelton 从 小 团队 的 测试 经 理 一 路 晋升 到 负责 管理 搜索 、 基 

架构 和 地 图 服务 的 测试 总 监 。Shelton ”现在 是 测试 行政 主管 ， 负 责 被 
c edna 涵盖 包括 Google Earth 和 Google Map 
内 的 所 有 与 位 置 相 关 的 产品 。 

本 书 作者 请 到 Shelton 来 谈 谈 Google 测 试 的 内 幕 ， 和 他 最 近 是 如 何 管 
理 Google 搜 索 的 测试 的 。 

HGTS: Shelton， 你 很 早 就 来 Google 了 ， 了 解 Patrick 在 本 书 序 言 里 
提 到 的 测试 服务 部 门 时 代 的 事情 。 跟 我 们 讲 讲 在 那 段 岁月 里 测试 是 什么 
样子 的 吧 ! 

Shelton: 那 时 候 当 然 与 现在 有 很 大 不 同 。 很 多 事变 化 很 快 ， 但 是 
有 一 件 事 永远 是 不 变 如 一 的 : Google 总 能 保持 非常 快速 的 发 展 。 不 过 早 
期 的 时 候 我 们 还 比较 幸运 。 互 联网 比 现在 简单 很 多 ， 我 们 的 应 用 也 比较 
小 ， 一 堆 聪 明 人 一 起 努力 就 可 以 了 。 我 们 经 历 了 很 多 次 “十 万 火 急 ”的 和 危 
险 时 刻 ， 但 是 那 时 候 还 能 够 有 少数 几 个 英雄 力挽狂澜 。 各 个 产品 在 底层 
都 相互 关联 ， 端 到 端的 测试 既 有 脚本 化 的 ， 也 有 手工 执行 的 。 随 着 我 们 
越 来 越 大 ， 这 么 多 的 依赖 带 来 了 很 多 问题 。 

我 不 是 说 这 种 测试 有 什么 不 对 ; 保证 整合 的 系统 能 够 正常 工作 是 必 
要 的 ， 但 是 过 度 依 赖 于 最 后 阶段 的 测试 过 程 ， 这 会 导致 发 现 问题 以 后 的 
排查 过 程 会 非常 困难 。 




















Pat 到 来 之 前 我 们 正在 这 些 问 题 中 痛苦 地 挣扎 。 

HGTS: 我 估计 当时 对 于 后 端 系统 来 说 问题 更 加 严重 ， 因 为 更 难 确 
定 “ 端 到 端的 测试 。 

Shelton: 的 确 如 此 ! 我 们 经 常 由 于 太 难 保证 后 台 系 统 的 质量 而 不 
能 按时 发 布 。 后 台 系 统 不 能 出 现 差错 ， 因 为 它 会 影响 太 多 产品 线 了 。 例 
如 ，BigTable 要 是 出 了 问题 ， 很 多 应 用 程序 都 会 受到 影响 。 在 后 台 系 统 
中 如 果 仅 仅 使 用 端 到 端 测 试 ， 要 是 不 能 发 现 问题 ， 就 会 导致 连锁 反应 。 

HGTS: 因此 ， 你 从 端 到 端的 测试 转向 了 验证 后 台 服 务 基 础 架构 的 
核心 模块 。 讲 讲 你 是 怎么 做 的 吧 。 

Shelton: 我 们 开始 改变 团队 的 人 员 组 成 。 我 们 重新 定义 了 测试 开 
发 工程 师 的 角色 ， 开 始 着 重 招聘 技术 超群 的 候选 人 。 当 有 了 足够 的 技能 
保障 以 后 ， 我 们 就 开始 开发 一 套 更 好 的 后 台 测 试 解决 方案 。 我 们 重点 进 
行 模块 级 别 的 自动 化 测试 。 这 样 一 群 具有 开发 和 测试 能 力 的 优秀 工程 师 
一 起 来 搞 我 们 的 后 台 基 础 设施 ， 你 可 以 预见 最 终 的 结 

HGTS: 有 没有 什么 是 成 功 的 关键 ? 

Shelton: 是 的 ， 能 够 获取 开发 工程 师 的 支持 是 特别 重要 的 。 我 们 
的 测试 开发 工程 师 和 他 们 的 开发 伙伴 (注意 我 用 的 词 是 “伙伴 ”， 因 为 成 
功 需要 真正 的 合作 ， 而 不 是 测试 自己 就 能 达成 的 ) 一 起 在 软件 开发 的 不 
同 层次 进行 测试 。 这 种 伙伴 关系 使 我 们 的 能 力 被 大 大 加 强 了 。 很 多 时 候 
那些 我 们 认为 不 可 能 在 组 件 级 别 解决 的 问题 ， 我 们 可 以 和 他 们 一 起 在 代 
码 单元 级 别 解决 。 这 种 合作 变 成 了 团队 的 一 种 氛围 ， 整 个 项 目 团队 《〈 开 
发 + 测试 ) 共同 对 组 件 级 别 的 产品 质量 负责 ， 而 测试 可 以 集中 精力 来 改 
进 流程 、 框 架 、 工 具 集 和 集成 测试 。 

HGTS: 你 做 了 一 些 很 艰难 的 抉择 ， 比 如 招聘 和 开发 工程 师 一 样 水 
平 的 人 做 测试 。 你 是 怎么 想 的 ? 后 悔 吗 ?这 对 测试 文化 有 什么 影响 ? 

Shelton: 这 大 概 是 我 们 在 Google 做 出 的 最 重要 的 一 次 转型 。 我 们 意 
识 到 在 Google 必 须要 尽早 做 出 一 些 改变 ， 把 测试 推 向 上 游 ， 让 整个 团队 











《开发 + 测试 ) 为 交付 的 质量 负责 。 

测试 技术 必须 融入 到 项 目 团队 。 因 此 ， 我 们 需要 非常 强 的 工程 师 ， 
他 们 能 理解 相关 技术 和 问题 ， 让 测试 更 加 科学 化 和 技术 化 。 

没有 足够 多 能 够 真正 理解 测试 的 《或 者 至 少 愿意 学 的 ) 优秀 的 软件 
工程 师 ， 你 根本 不 可 能 完成 这 些 事情 。 当 我 们 从 另 一 个 角度 看 竺 这 个 困 
难 的 时 候 ， 我 们 意识 到 可 以 吸引 最 好 的 工程 师 来 解决 测试 中 的 难题 。 事 
实证 明 我 们 借 此 建立 了 强大 的 团队 ， 他 们 都 很 喜爱 这 个 工作 。 

HGTS: 你 在 Google 的 任期 里 经 历 了 很 多 产品 ， 包 括 搜索 ， 这 是 
Google 的 支柱 产品 。 测 试 搜索 产品 最 难 的 部 分 是 什么 ? 

Shelton: 决定 要 关注 哪些 问题 是 最 难 的 ! 当 工 程 师 开 始 测试 搜索 
产品 的 时 候 ， 他 们 经 常 讲 Google 对 某 些 搜 索 串 返回 了 什么 结果 。 那 当然 
是 需要 看 的 地 方 ， 但 是 搜索 质量 的 要 求 远 远 不 止 于 此 。 搜 索 是 一 套 非 常 
复杂 精密 的 分 布 式 软件 系统 ， 为 用 户 提 供 统一 、 稳 定 、 快 速 的 响应 。 我 
们 要 验证 整个 系统 是 否 可 靠 ， 你 必须 理解 索引 和 搜索 算法 。 你 必须 理解 
整套 系统 是 如 何 搭建 和 运作 的 ， 才 能 验证 各 部 分 是 否 能 正常 工作 。 从 一 
开始 我 们 束 非 常 关注 这 些 事情 。 现 实 中 ， 我 们 把 搜索 质量 和 检验 系统 的 
正常 运作 区 分 开 来 。 我 们 更 关注 于 后 者 而 把 搜索 结果 的 质量 评估 留 给 产 
品 团队 的 搜索 质量 专家 。 我 们 检验 基础 架构 和 处 理 Google 搜 索 结 果 、 更 
新 和 展现 的 各 个 系统 ， 而 这 些 系 统 保证 了 Google 能 产生 最 好 的 搜索 结 
FR o 

HGTS: 当 接 手 一 个 新 项 目的 时 候 ， 你 通常 会 怎么 做 ? 你 : 会 先 做 
哪些 事 : 是 从 团队 建设 的 角度 入 手 ， 还 是 从 基础 技术 框架 的 角度 入 手 ， 
还 是 从 测试 流程 的 角度 入 手 ? 

Shelton: 一 般 来 说 ， 我 首先 会 让 我 的 团队 思考 , “对 被 测 系统 来 
说 ， 什 么 是 最 为 重要 的 东西 ? ”对 搜索 来 说 是 性 能 ， 对 新 闻 来 说 是 时 效 
性 ， 对 地 图 来 说 是 综合 性 和 完整 性 。 每 个 应 用 都 有 其 最 重要 的 属性 。 类 
似 的 ， 对 系统 基础 架构 来 说 ， 数 据 完 整 性 对 存储 最 为 重要 ， 可 扩展 性 对 






































网 络 系统 最 为 重要 ， 利 用 率 对 任务 管理 系统 最 为 关键 。 当 你 分 清 了 你 要 
测试 的 特定 产品 的 关键 因 系 以 后 ， 就 要 把 你 的 大 部 分 精力 集中 在 检验 系 
统 的 核心 能 力 是 不 是 能 够 满足 这 些 关 键 属性 要 求 上 。 

当 这 些 重 要 的 事情 搞定 以 后 ， 再 去 关心 那些 简单 的 事情 (用户 界面 
xum ERSTE ARE) 。 还 要 关注 那些 核心 的 不 容易 改动 的 方面 《如 性 
能 设计 ) ， 而 不 对 那些 很 容易 修改 的 方面 花费 太 多 精力 。 如 果 你 过 早报 
告 天 于 字体 的 bug， 我 就 会 担心 你 是 不 是 没有 搞 清 楚 事 情 的 优先 次 序 。 

HGTS: 在 有 关 手 工 测试 和 自动 化 测试 之 间 的 拉锯 战 中 ，Google 似 
乎 从 大 量 的 手工 测试 偏 徊 了 大 量 的 自动 化 测试 。 你 现在 是 怎么 看 的 ? 怎 
样 分 配 才 是 合理 的 ? 你 怎么 知道 是 不 是 过 于 偏向 哪 一 边 了 ? 

Shelton: 我 认为 你 应 该 能 自动 化 多 少 就 目 动 化 多 少 。 手 工 测试 会 
妨碍 我 们 持续 构建 的 理念 。 定 时 执行 的 组 件 级 别 的 验证 和 集成 测试 ， 在 
其 中 扮演 了 手工 测试 不 能 完成 的 角色 。 然 而 ， 上 自动 化 测试 不 容易 更 新 ， 
需要 长 期 的 维护 。 技 术 是 不 断 问 前 发 展 的， 必然 会 带 来 快速 的 变化 ， 我 
们 必须 不 断 重新 开发 自动 化 测试 才能 跟 上 这 个 脚步 。 可 以 这 么 说 ， 有 些 
事情 是 手工 测试 可 以 做 但 是 自动 化 测试 不 能 做 的 。 举 例 来 说 ， 移 动 应 用 
的 测试 涉及 大 量 不 同 的 硬件 设备 、 显 示 屏 幕 、 外 形 尺 寸 、 驱 动 程序 等 ， 
不 同 的 因素 组 合 是 爆炸 性 的 。 这 种 情况 下 ， 我 们 就 应 该 用 一 些 手 工 测 试 
来 完成 验证 工作 。 关 键 是 还 要 把 能 够 目 动 完成 的 流程 自动化。 让 机 器 完 
成 90% 的 工作 ， 剩 下 10% 的 验证 留 给 人 力 来 做 〈 我 们 把 这 称 为 “最 后 一 英 
Hg") 。 目 动 化 可 以 完成 诸如 抓 取 所 有 设备 上 的 屏幕 显示 ， 通 过 对 比 算 
法 找 出 差 寞 ， 然 后 快速 完成 人 工 参 照 比 对 。 人 力 资 源 非 第 宝 喧 ， 我 们 不 
应 该 将 其 浪费 在 一 些 可 以 由 计算 机 完成 的 工作 上 上， 应 该 用 在 最 适合 用 人 
来 判断 的 场合 而 非 重 复 性 的 任务 。 

HGTS: 说 一 个 你 们 在 产品 发 布 以 后 令 你 泪 形 的 测试 遗漏 的 bug 
ng 。 

Shelton: 喔 ,你 之 前 问 过 这 个 问题 吧 ? 我 怀疑 是 不 是 有 谁 能 真 的 












































曾经 发 布 过 一 个 完美 的 产品 ?反正 我 不 能 ， 真 遗憾! 我 最 后 悔 的 bug 是 
由 于 我 们 没 能 详尽 的 测试 数据 中 心 的 各 种 配置 变化 引起 的 。 有 一 次 ， 新 
版 本 上 线 却 没 经 过 任何 测试 。 那 次 配置 变化 使 得 最 终 用 户 看 到 的 搜索 结 
果 变 差 。 通 过 这 个 教训 ， 我 们 学 习 到 配置 变化 对 搜索 质量 有 多 么 重要 。 
从 那 以 后 ， 我 们 把 配置 变更 也 纳入 质量 流程 中 ， 我 们 开发 了 一 套 上 自动 化 
测试 ， 每 次 数据 和 配置 变更 时 都 要 执行 。 

HGTS: 你 们 怎么 制定 这 些 自动 化 配置 测试 呢 ? 

Shelton: 要 非常 小 心 ! 每 当 我 们 发 现 某 项 配置 让 搜索 结 采 变 差 
时 ， 我 们 束 编 写 一 些 测试 检验 那些 配置 和 类 似 可 能 引起 问题 的 变化 。 不 
久 我 们 就 生成 了 一 套 从 间 题 环境 中 总 结 出 来 的 测试 用 例 集 。 然 后 我 们 自 
动 化 生成 各 种 数据 来 测试 我 们 的 环境 。 到 现在 这 种 bug 已 经 少 很 多 了 。 
绝对 是 这 些 自动 化 测试 的 功劳 ， 让 我 们 对 线 上 系统 进行 配置 修改 的 时 候 
更 有 信心 了 。 



































Google 的 工具 关系 到 这 个 公司 的 存亡 ， 负 责 这 些 工具 的 人 就 是 
Ashish “Kumar。 他 负责 从 开发 人 员 使 用 的 集成 开发 环境 到 代码 审查 系 
统 、 构 建 系统 、 源 码 控制 、 静 态 检 查 、 通 用 测试 框架 ， 等 等 。Selenium 
和 WebDriver 团 队 也 最 终 同 他 汇报 。 

本 书 作 者 最 近 与 Ashish 聊 到 了 他 在 Google 所 从 事 的 这 项 神奇 的 工 
{Es 

HGTS: Google 的 自动 化 测试 是 个 神秘 的 话题 ， 一 直 在 GTAC 大 会 
上 被 热 议 ， 而 你 正 是 Google 自 动 化 背后 的 那个 人 。 能 谈 谈 你 们 的 工具 集 
都 为 Google 的 工程 师 提供 了 哪些 功能 吗 ? 

Ashish: 我 的 团队 被 WT LAW. 开发 人 员 日 党 工作 中 需要 
使 用 的 90% 的 工具 都 由 我 们 负责 开发 ， 这 些 工具 文 持 他 们 在 Google 完 成 
高 质量 的 软件 编写 、 构 建 和 发 布 。90% 是 因为 我 们 还 不 支持 一 些 开源 产 
癌 的 团队 ， 不 过 我 们 计划 也 开始 支持 他 们 。Google 特 别 强 调 为 我 们 的 开 
发 工程 师 提 供 强 大 《〈 并 有 具 可 伸缩 性 ) 的 基础 设施 。 公 司 外 的 人 都 知道 
Google 工 程 师 经 常 使 用 的 技术 ， 例 如 MapReduce 和 BigTable， 而 我 们 的 
工具 基础 框架 也 是 非常 重要 的 一 部 分 。 

HGTS: 能 描述 一 些 细节 吗 ? 

Ashish: 好 ， 你 既然 问 了 ， 那 我 可 束 说 了 ! 整个 工具 集 包 括 下 面 这 
Ja 

源码 工具 : 一 系列 用 于 简化 创建 工作 环境 、 提 交代 码 变更 、 代 码 风 
格 检查 的 工具 。 我 们 可 以 用 工具 浏览 数 亿 行 代码 ， 发 现 并 预防 重复 的 代 

还 有 用 于 建立 大 规模 索引 和 代码 重 构 的 工具 。 


开发 工具 : 集成 开发 环境 的 一 些 插件 ， 让 其 他 各 种 工具 适应 
Google 的 代码 并 连接 后 端的 云 服 务 。 代 码 审查 工具 ， 通 过 在 审查 阶段 区 
入 相关 的 信号 ， 来 快速 完成 和 高 质量 的 代码 审 碍 。 

构建 框架 : 我 们 需要 把 代码 构建 的 版 本 分 发 到 各 种 语言 开发 的 项 
目 ， 需 要 用 到 数 万 颗 CPU， 数 不 清 的 内 存 和 存储 器 。 虽 然 这 些 想 起 来 都 
头疼 ， 但 是 我 们 的 构建 系统 可 以 轻松 对 付 。 这 个 构建 系统 既 文 持 目 动 方 
式 ， 也 文 持 交互 方式 ， 在 很 多 情况 下 还 可 以 把 原本 需要 数 小 时 的 任务 缩 
短 到 数秒 。 

测试 基础 架构 : 规模 化 的 持续 集成 。 这 意味 着 每 个 开发 人 员 的 每 次 
代码 提交 都 会 引发 目 动 测试 ， 每 天 要 运行 数 百 万 测试 用 例 集 。 我 们 的 目 
标 是 为 开发 者 提供 立即 反馈 (或 者 尽量 即时 ) 。 为 一 方面 是 规模 化 的 
Web 测 试 。 每 个 Google 的 产品 每 天 都 会 局 动 数 十 万 个 浏览 需 会 话 ， 对 各 
种 不 同 的 浏览 器 平台 组 合 进行 测试 。 

本 地 化 工具 : 对 开 及 人 员 提 供 的 文本 进行 持续 地 翻译 ， 以 达到 我 们 
的 产品 的 本 地 化 语言 版 本 可 以 和 英文 版 产品 同时 完成 。 

度量 、 可 视 化 和 报表 : 管理 所 有 Google 产 品 的 bug， 跟 踪 所 有 研发 
活动 (编码 、 测 试 和 友 布 ) 中 工程 师 的 各 项 指标 ， 把 这 些 数 据 集 中 存 
储 ， 并 问 团 队 提 供 可 操作 的 反馈 意见 进行 改进 。 

HGTS: 这 可 真 够 细致 的 。 很 显然 要 达到 你 们 今天 这 样 的 成 就 一 定 
经 历 了 大 量 的 创新 工作 。 可 是 你 们 怎么 平衡 并 维护 这 些 工 具 和 进行 新 工 
具 开 发 之 间 的 关系 呢 ? 毕竟 你 的 团队 也 不 是 那么 大 啊 ! 

Ashish: 简单 来 说 束 是 这 些 工作 我 们 不 能 全 都 做 。 我 的 团队 是 核心 
性 的 工程 工具 团队 ， 为 整个 Google 公 司 服务 。 很 多 时 候 ， 产 品 团 队 会 针 
对 他 们 自己 的 特殊 需求 打造 自己 的 工具 。 有 时 候 这 些 工 具 变 得 更 为 通 
用 ， 我 们 会 对 它们 进行 评估 看 看 是 否 有 必要 使 之 集中 化 〈 这 样 就 能 让 整 
个 Google 公 司 都 能 用 起 来 ) 。 还 有 些 时 候 ， 我 团队 里 的 工程 师 可 能 想到 
了 一 个 目 认为 很 酷 的 点 子 ，Google 极 为 保护 这 类 目 发 性 的 创始 项 目 。 我 


















































们 收纳 一 个 工具 到 中 央 工 具 库 里 的 标准 有 两 方面 : 一 方面 是 它 必 须 对 生 
产 力 有 极 大 的 提升 作用 ， 另 一 方面 是 它 必 须 对 大 部 分 Google 工 程 师 来 说 
都 是 适用 的 。 毕 竟 ， 我 们 是 核心 工具 团队 ， 发 展 广泛 适用 的 、 有 巨大 影 
啊 力 的 工具 才 是 我 们 的 意义 所 在 。 如 果 一 个 工具 只 对 一 个 产品 团队 有 
用 ， 那 这 个 产品 团队 就 该 负责 这 个 工具 。 当 然 ， 我 们 也 会 进行 大 量 的 实 
验 。 为 了 我 们 的 持续 成 功 ， 我 们 用 一 两 人 的 小 团队 来 进行 一 些 开发 实 
验 。 很 多 这 种 实验 来 自 于 员工 的 20% 自 由 时 间 。 我 对 在 20% 时 间 范 畴 里 
的 任何 事情 都 不 会 说 不 ， 这 20% 的 时 间 ， 由 员工 自己 支配 而 不 是 我 来 指 
派 。 有 些 答 试 会 失败 ， 但 是 成 功 的 那些 完全 弥补 了 所 有 失败 的 损失 。 敢 
想 敢 干 、 快 速 试 错 、 不 断 进 取 ! 有 些 工 具 项 目 充当 了 催化 剂 的 作用 ， 所 
以 很 难 直 接 量 化 衡量 它们 对 生产 力 的 影响 ， 但 所 有 的 工具 项 目 都 需要 为 
Google 的 生产 力作 出 贡献 。 

HGTS: 有 没有 什么 工具 想法 是 你 一 开始 不 看 好 但 最 后 成 功 的 ? 

Ashish: 有 ! 大 规模 的 持续 集成 。 这 个 问题 太 大 了 ， 以 至 于 从 表面 
上 来 看 根本 不 可 行 。 我 们 曾经 循环 使 用 数 千 台 机 器 进行 持续 集成 。 团 队 
里 有 人 提出 建立 一 个 集中 的 持续 集成 基础 框架 ， 为 Google 的 所 有 项 目 提 
供 持续 集成 服务 。 这 个 框架 可 以 从 源码 控制 系统 里 获取 代码 变更 通知 ， 
在 内 存 里 管理 一 个 庞大 的 跨 语言 的 代码 依赖 图 谱 ， 完 成 代码 的 自动 构建 
并 运行 相关 的 测试 。 除 我 之 外 也 还 有 不 少 人 质疑 它 的 规模 过 于 庞大 ， 而 
且 大 量 资源 的 使 用 会 让 我 们 的 服务 器 吃不消 。 这 些 疑 虑 都 是 对 的 ， 资 源 
消耗 确实 非常 大 。 但 是 我 们 的 工程 师 攻 克 了 一 项 一 项 的 技术 壁垒 ， 现 在 
这 个 系统 已 经 运行 而 且 实现 了 设计 的 目标 。 和 其 他 项 目 一 样 ， 我 们 对 符 
这 个 项 目的 态度 也 是 : 从 小 做 起 ， 不 断 证 明 其 价值 ， 然 后 当 项 目 体 现价 
值 以 后 扩大 规模 。 

HGTS: 那 有 没有 你 一 开始 看 好 ， 但 是 最 后 却 没 能 成 功 的 工具 呢 ? 

Ashish: 也 有 ! 远程 结对 编程 。Google 的 研发 团队 分 布 在 各 个 地 
方 ; 很 多 团队 都 遵循 结对 编程 等 敏捷 开发 技术 。 很 多 情况 下 你 正在 编辑 












































的 代码 ， 原 本 是 其 他 办 公 区 的 工程 师 编写 的 ， 而 当 你 有 个 问题 想 快速 得 
到 答案 的 时 候 ， 常 常会 因为 距离 而 不 能 如 愿 ， 影 响 效 率 。 我 们 进行 的 一 
项 尝试 是 为 我 们 的 集成 开发 环境 (IDE) 加 入 一 个 “远程 结对 编程 的 ” 插 
件 。 目 标 是 紧密 集成 Google Talk (URIA ， 以 便于 在 工程 师 修 改 代 
人 码 过 程 中 产生 问题 的 时 候 可 以 和 代码 的 原作 者 通过 开发 环境 的 内 骸 功 能 
直接 对 话 ， 代 码 的 原作 者 可 以 看 到 这 位 工程 师 的 工程 环境 并 像 结对 编程 
那样 编辑 代码 ， 整 个 过 程 双方 都 可 以 通过 视频 交流 。 没 有 体味 儿 困 扰 的 
结对 编程 ! 可 惜 的 是 ， 我 们 发 布 了 预览 版 本 (只 提供 了 协作 编辑 而 没有 
集成 Google Talk) 以 后 ， 并 没有 从 内 部 试用 者 那里 得 到 我 们 期 户 的 结 
果 ， 因 此 我 们 终止 了 这 个 尝试 。 开 发 工程 师 似 乎 对 这 个 工具 并 不 感 兴 
趣 。 我 们 可 能 并 没有 真正 找到 他 们 的 痛 点 。 

HGTS: 你 对 那些 准备 构建 自动 化 流水 线 的 公司 有 什么 建议 ? 从 哪 
E TAF 88? 

Ashish: 特别 重要 的 一 件 事 ， 是 要 关注 团队 里 新 来 的 开发 工程 师 必 
须 使 用 到 的 开发 环境 。 要 让 代码 的 获取 、 编 辑 、 测 试 、 运 行 、 调 试 和 部 
署 都 非常 徐 单 。 消 除开 发 人 员 这 些 环节 的 痛苦 会 大 大 提高 生产 力 ， 而 且 
能 帮助 团队 按时 交付 高 质量 的 软件 。 要 想 达 到 这 一 点 ， 清 楚 地 定义 依赖 
关系 非常 重要 。 建 立 一 套 持续 集成 的 系统 ， 让 它 能 够 稳定 运行 ， 能 够 快 
速 的 回 开 发 工程 师 提供 反馈 。 如 果 信 息 反 人 馈 超 过 了 几 分 钟 ， 那 就 需要 加 
入 更 多 的 机 器 。CPU 的 运行 时 间 可 要 比 程 序 员 在 事务 间 进 行 切 换 或 等 待 
要 便宜 多 了 。 让 执行 和 调试 代码 像 输 入 一 条 命令 那么 简单 ， 部 署 也 许 能 
够 做 到 这 一 点 。 如 果 是 互联 网 公司 ， 还 要 能 够 文 持 简单 的 灰 度 发 布 。 

HGTS: 你 的 团队 会 找 什么 样 的 工程 师 ? 好像 不 是 什么 样 的 开发 工 
程 师 都 能 成 为 一 名 工具 开发 者 。 

Ashish: 工具 开发 需要 对 计算 机 学 科 的 基础 有 着 特别 的 热爱 ， 诸 如 
语言 开发 、 编 译 器 、 系 统 编程 等 ， 还 要 乐于 见 到 目 己 的 工作 能 文 持 其 他 
优秀 的 程序 员 ， 为 公司 创造 更 大 的 价值 。 其 实 我 是 在 寻找 能 把 工程 师 当 
































做 自己 的 客户 的 人 。 

HGTS: 说 到 客户 ， 你 们 怎么 说 服 人 们 开始 使 用 你 们 的 工具 呢 ? 

Ashish: Googler 是 一 个 非常 独特 的 群体 。 他 们 通常 不 需要 太 多 的 推 
销 。 我 们 每 周 主 持 一 次 被 称 为 工程 生产 力 工 具 播 报 的 活动 ， 展 示 我 们 的 
工具 。 工 程 师 会 来 参加 ， 他 们 会 问 问题 ， 如 果 某 个 工具 能 为 他 们 解决 实 
际 的 问题 ， 他 们 就 会 拿 去 尝试 。 总 体 来 说 ， 能 解决 实际 问题 的 工具 就 会 
得 到 更 多 的 应 用 ， 不 能 解决 实际 问题 的 工具 就 不 行 。 这 里 的 秘诀 就 是 避 
免 后 面 那 种 情况 ， 或 者 至 少 发 现 那些 不 能 发 挥 作 用 的 项 目 而 尽早 终止 它 
JP 

HGTS: 你 见 到 过 有 的 工具 陷入 这 样 的 境地 ， 或 者 甚至 产生 的 负面 
影响 大 于 功效 的 情况 吗 ? 

Ashish: 有 的 ， 但 是 我 不 会 坐视 不 管 。 对 这 些 项 目 我 们 都 会 很 快 终 
止 投入 的 。 创 建 工 具 的 目的 是 让 流程 自动 化 并 使 其 简单 。 有 时 候 工具 项 
目 可 能 自动 化 了 一 些 不 好 的 行为 。 如 果 开 发 工程 师 的 手工 操作 本 来 就 是 
错误 的 ， 为 什么 还 要 实现 一 个 工具 让 这 些 错误 更 易 犯 呢 ? 工具 开发 者 应 
该 回 过 头 来 想 想 是 不 是 可 以 使 用 一 些 其 他 的 方法 ， 而 不 是 一 味 地 自动 化 
人 们 现 有 的 工作 方式 。 

HGTS: 你 现在 关注 哪些 东西 ? 你 们 团队 目前 在 做 什么 工具 ? 

Ashish: 首先 ， 我 必须 强调 有 很 多 工具 维护 的 工作 需要 完成 。Web 
变化 相当 快 ， 所 以 我 们 的 围绕 web 技术 的 工具 也 处 于 持续 发 展 的 状态 。 
这 种 变化 有 时 候 人 迫使 我 们 重 写 工具 ， 有 时 候 需 要 添加 全 新 的 功能 。 这 是 
一 种 持续 的 挑战 ， 也 是 机 会 。 我 们 做 的 很 多 工具 是 供 内 部 使 用 的 ， 我 在 
这 里 不 便 多 说 ， 不 过 如 果 你 考虑 的 是 规模 、 规 模 、 还 是 规模 的 话 ， 就 差 
不 多 了 ! 






































Google 测 试 文化 中 很 重要 的 一 个 方面 就 是 通过 建立 各 种 区 域 性 和 全 
球 化 的 工作 中 心 吸 引 各 种 人 才 的 加 入 。 印 度 海 得 拉巴 〈Hyderabad) 是 
Google 设立 的 第 一 个 全 球 测 试 工程 中 心 ， 以 吸引 来 自 印 度 的 人 才 。 这 里 
的 工程 师 为 一 些 重 要 的 Google 产 品 工 作 ， 把 原来 以 人 工 测 试 〈 或 测试 服 
务 ) 为 核心 的 方向 转移 到 测试 工程 化 的 方向 上 来 。SujaySahni 是 这 里 的 
测试 总 监 ， 他 组 建 并 掌管 着 印度 的 Engineering Productivity 团 队 。 

HGTS: 印度 距离 Google 总 部 非常 遥远 ， 你 是 怎么 在 那里 建立 工程 
生产 力 (Engineering Productivity) 部 门 的 ， 又 是 怎样 参与 到 那些 关键 项 
BPA ? 

Sujay: 工程 生产 力 (Engineering Productivity) 团队 跟 Google 其 他 
的 工程 师 团 队 的 模式 一 样 ， 都 是 在 世界 各 地 建立 研发 中 心 ， 找 到 当地 合 
适 的 人 才 。 在 印度 设立 研发 中 心 并 不 是 基于 成 本 上 的 考虑 ， 完 全 是 因为 
我 们 在 这 里 能 找到 尖端 人 人才。 我 们 在 印度 建立 了 足够 大 的 团队 可 以 承担 
重要 的 大 型 项 目 。 印 度 作为 区 域 性 研发 中 心 ， 是 为 数 不 多 的 同时 拥有 开 
发 人 员 和 测试 人 员 在 一 处 工作 的 中 心 。 这 样 的 研发 中 心包 括 伦 敦 、 纽 
约 、 柯 特 兰 、 班 加 罗 尔 研发 中 心 和 其 他 一 些小 一 些 的 办 公 区 。 

我 们 设 有 一 些 大 区 研发 中 心 ， 会 文 持 像 欧洲 这 样 的 特定 区 域 。 欧 洲 
区 研发 中 心 设 在 苏黎世 ， 亚 太 区 研发 中 心 设 在 海 得 拉巴 ， 美国 东海 岸 大 
区 研发 中 心 设 在 纽约 。 这 些 研 发 中 心 ， 负 责 将 所 在 大 区 的 各 小 型 研发 中 
心 的 技术 力量 联系 起 来 ， 并 和 其 他 大 区 研发 中 心 进行 合作 。 这 样 的 组 织 
更 容易 进行 时 间 和 人 才 的 管理 。 不 过 ， 海 得 拉巴 也 是 Google 的 全 球 研 发 
枢纽 ， 为 整个 Google 公 司 提供 人 才 资 源 和 输出 测试 团队 的 技术 解决 方 








案 。 在 Google 开 展 软件 测试 的 早期 ， 海 得 拉巴 是 最 大 的 软件 测试 工程 师 
人 才 基 地 ， 做 了 很 多 重要 的 战略 性 项 目 。 这 个 研发 中 心 的 工程 师 为 一 些 
关键 的 Google 产 品 工 作 ， 推 动 和 促进 了 从 测试 服务 部 门 向 工程 生产 力 部 
Hs 

HGTS: 印度 在 Google 测 试 发 展 方面 扮演 了 什么 样 的 角色 ? 

Sujay: 海 得 拉巴 (Hyderabad〉 中心 ， 我 们 一 般 简 称 其 为 ”HYD， 
是 Google 建立 的 第 一 个 区 域 性 研发 中 心 。 我 们 在 班加罗尔 也 建立 了 一 
个 研发 中 心 ， 以 便 更 好 地 获得 当地 的 工程 师资 源 ， 但 是 海 得 拉巴 很 快 已 
经 成 为 了 全 球 测试 工程 团队 的 中 心 。 研 发 中 心 初步 建立 ，HYD 中 心 的 工 
程 师 混 合 了 测试 工程 师 、 测 试 开 发 工程 师 和 很 多 临时 员工 和 外 包 人 员 。 
他 们 为 很 多 重要 的 和 知名 的 Google 产 品 工作 (如 搜索 、 广 告 、 移 动产 
品 、Gmail 和 工具 条 就 包括 其 中 ) ， 在 不 同 的 角色 上 贡献 力量 。 这 些 工 
程 师 主要 开发 了 一 些 非常 关键 的 测试 基础 设施 和 框架 ， 支 持 工程 师 团 队 
能 够 自动 化 他 们 的 测试 ， 更 快 地 发 布 产 品 。2006 年 一 2007 年 ，HYD 拥 有 
整个 Google 大 约 一 半 的 测试 开发 工程 师 。 当 时 有 个 有 趣 的 传闻 : 据说 测 
试 开发 工程 师 (SET》〉 这 个 职位 就 是 由 HYD 招 聘 的 第 一 位 测试 工程 师 努 
力 推动 设立 的 ! 不 管 我 们 是 不 是 真有 这 么 大 作用 ， 但 是 我 们 至 少 间接 地 
为 从 测试 服务 部 门 到 工程 生产 力 部 门 的 转变 铺 平 了 道路 。 

到 2007 年 下 半年 ， 我 们 领导 层 决 定 转变 目标 ， 发 展 团队 进入 新 的 重 
要 的 领域 ,减少 条 块 分 割 ， 建 设 更 大 的 高 级 人 才 库 ， 引 导 大 量 加 入 的 年 
轻 工 程 师 。 到 2008 年 ， 我 们 逐步 成 为 区 域 中 心 的 角色 ， 让 各 地 的 工程 团 
队 拥 有 自己 本 地 的 (或 相距 不 远 的 ) 测试 团队 。 这 样 ，HYD 就 有 可 能 
中 精力 关注 那些 Google 测试 团队 还 未 成 熟 的 领域 ， 比 如 先进 的 延迟 检测 
TA; 后 台 、 云 性 能 和 稳定 性 工具 ; 回归 检测 机 制 ， 客 户 端 测试 工具 
等 。 这 一 阶段 的 另 一 个 变化 是 对 云 测试 以 及 工程 化 工具 基础 架构 的 投 
入 。 这 其 中 很 多 工作 ， 如 云端 代码 覆盖 度 框 架 、 开 发 IDE 工 具 、 可 扩展 
云 测试 架构 、Google 工 具 箱 ， 还 有 一 些 实验 性 的 工作 ， 最 终 都 成 为 了 产 




















品 化 的 工具 。 

我 们 团队 提供 的 很 多 重要 的 工具 和 服务 不 仅 文 持 Google 全 球 的 工程 
团队 ， 同 时 也 作为 核心 基础 设施 共享 给 开源 社区 的 开发 者 们 。HYD 的 工 
程 师 为 开源 社区 贡献 了 很 多 代码 ， 包 括 App Engine, Selenium, Eclipse 
和 IntelliJ 插 件 等 项 目 。 

HGTS: 这 都 是 一 些 非常 重要 而 且 很 棒 的 项 目 。 你 能 讲 一 个 HYD 独 
立 开 发 的 项 目 吗 ? 

Sujay: 好 的 。Google 诊断 工具 ， 是 完全 由 海 得 拉巴 工程 生产 力 团 
队 开 发 的 。 这 个 工具 可 以 帮助 我 们 的 客户 文 持 团队 与 客户 一 起 诊断 他 们 
在 使 用 Google 产 品 时 遇 到 的 问题 ， 帮 助 获取 他 们 的 计算 机 系统 的 技术 规 
格 和 配置 信息 。 还 有 其 他 的 工具 。HYD 工 程 生产 力 团 队 主 要 开发 整个 
Google 使 用 的 基础 框架 、 工 具 和 测试 代码 。 这 些 工 具 包括 像 IDE 这 样 的 
FELH, BER PISS DEER, AKA AU A, 
(MSGS ARE, Ait AMA, URSA LA. FEMA TAT 
i, HYD 团队 负责 为 Google 很 多 云 应 用 产品 开发 用 于 压力 测试 和 性 能 
分 析 的 测试 基础 设施 ， 为 很 多 核心 产品 如 搜索 、 企 业 服 务 、Gmail、 广 
告 等 开发 测试 工具 和 完成 测试 工作 。 

HGTS: 好 的 ， 我 想 继续 了 解 一 下 这 些 工具 ， 因 为 光 听 名 字 就 够 吸 
引 人 的 了 。 你 能 谈 谈 你 提 到 的 代码 履 盖 度 工具 吗 ? ARIA s RE Wed CE 
Google 测 试 博 客 上 一 直 被 广泛 关注 。 

Sujay: 代码 履 盖 上 度 是 一 个 被 广泛 接受 的 衡量 测试 效果 的 指标 。 传 
统 的 做 法 是 ， 每 个 团队 分 配 一 些 专门 的 资源 《工程 师 、 人 硬件、 软件 ) 来 
度量 项 目的 代码 集合 。 然 而 ，Google 在 印度 有 一 个 专门 团队 来 保证 整个 
Google 研 友 工 作 的 代码 无 颖 地 获得 镍 盖 度 指标 。 为 了 达到 这 一 点 ， 大 家 
需要 遵守 一 些 简单 的 步骤 来 司 动 这 个 功能 ， 只 需要 一 次 性 投入 不 到 五 分 
钟 时间 。 这 一 步 做 完 以 后 ， 束 可 以 得 到 他 们 项 目 构 建 版 本 的 履 盖 上 度 指 
标 ， 集 中 显示 报表 结果 用 于 查看 和 分 析 。 禾 盖 度 统计 已 经 文 持 了 上 干 个 












































项 目 ， 文 持 所 有 的 主要 编程 语言 ， 统 计 了 数 特 万 代码 文件 。 上 履 善 度 框 架 
紧密 集成 在 Google 的 云 架构 之 上 ， 编 译 和 构建 代码 ， 文 持 持续 大 规模 的 
代码 变更 (每 分 钟 上 度量 一 次 ) ， 每 天 处 理 数 万 次 构建 。 它 就 是 为 Google 
快速 增长 的 代码 数量 而 设计 的 。 我 们 还 有 支持 性 的 框架 ， 用 智能 的 方式 
提供 测试 优先 级 的 建议 ， 根 据 特定 的 代码 变化 指出 需要 被 执行 的 测试 用 
例 。 我 们 这 样 就 有 了 更 有 效 的 测试 履 盖 、 更 可 信 的 代码 质量 和 快速 反 
馈 ， 为 Google 节 省 了 大 量 的 工程 资源 。 

HGTS: 听 起 来 代码 履 盖 度 做 的 不 错 。 那 下 面 讲 讲 你 提 到 的 诊断 工 
其 吧 。 

Sujay: 诊断 工具 是 海 得 拉巴 的 工程 生产 力 部 门 的 测试 开发 工程 
师 ， 通 过 20% 自 由 时 间 创 建 和 开发 的 。 它 弥补 了 在 调试 用 户 问 题 的 时 
候 ，Google 开 发 人 员 所 需 的 技术 数据 和 普通 电脑 用 户 的 技术 知识 之 间 的 
酋 沟 。 有 时 候 要 了 解 Google 用 户 提交 的 问题 报告 ， 获 取 Google 软 件 产品 
状态 的 技术 数据 是 必须 的 。 这 可 能 包括 像 操 作 系 统 、 语 言 设 置 等 简单 的 
言 轧 ， 也 可 能 包括 复杂 的 细节 数据 ， 例 如 应 用 程序 的 版 本 信息 和 配置 
等 。 用 一 种 简单 快捷 的 方式 获取 这 些 信 息 并 不 容易 ， 因 为 用 户 可 能 对 这 
些 细 节 根 本 不 了 解 。 诊 断 工具 会 简化 这 个 过 程 。 现 在 如 果 有 个 问题 报告 
需要 更 多 的 细节 数据 ， 我 们 的 文 持 工程 师承 简单 地 在 这 个 工具 中 创建 一 
个 新 的 配置 ， 描 述 哪 些 特 定 信息 需要 被 收集 ， 然 后 通过 邮件 联系 用 户 ， 
或 者 给 用 户 提 供 一 个 “google.com” 下 的 唯一 链接 ， 用 户 可 以 从 那里 下 载 
一 个 很 小 (小 于 300KB) 的 带 有 Google 签 名 的 执行 文件 。 这 个 执行 文件 
可 以 分 析 用 户 的 机 器 ， 并 收集 被 配置 需要 的 数据 显示 给 用 户 进 行 预览 ， 
然后 用 户 可 以 决定 是 否 可 以 发 送 给 Google。 当 然 在 执行 完毕 以 后 退出 
时 ， 这 个 执行 文件 就 会 把 自己 删除 。 我 们 非常 注意 保护 用 户 的 隐私 信 
轧 ， 用 户 在 提交 之 前 会 检查 这 些 数据 ， 而 且 只 有 在 用 户 同 意 的 情况 下 才 
会 提交 。 在 我 们 内 部 ， 这 些 数据 被 发 送 给 合适 的 开发 人 员 来 加 快 问 题 的 
解决 。 这 个 工具 被 Google 客 户 文 持 团 队 使 用 ， 对 Google Chrome， 



































Google Toolbar， 以 及 其 他 客户 端 应 用 特别 有 用 。 而 且 ， 它 让 我 们 的 用 
户 更 容易 的 从 Google 获 得 帮助 。 

HGTS: 你 也 几 次 提 到 性 能 和 压力 测试 ， 这 里 有 什么 故事 吗 ? 我 知 
道 你 们 在 Gmail 的 性 能 测试 方面 介入 很 深 。 

Sujay: Google 的 Web 应 用 产品 范围 非常 广泛 。 保 证 低 延 迟 的 用 户 
体验 是 非常 重要 的 目标 。 因 此 ， 性 能 测试 (重点 是 JavaScript 的 执行 和 
页 面 浑 染 的 速度 ) 是 任何 产品 发 布 前 的 一 项 关键 检查 。 以 前 ， 性 能 延迟 
问题 往往 需要 几 天 甚至 几 个 星期 的 时 间 来 定位 和 解决 。 印 度 工 程 生产 力 
团队 开发 了 Gmail 的 前 端 性 能 测试 框架 来 敢 盖 重要 的 用 户 行为 ， 保 证 对 
用 户 最 频繁 执行 的 操作 进行 细致 的 性 能 测试 。 性 能 测试 使 用 一 个 定制 的 
服务 器 ， 测 试 在 受 控 的 环境 中 部 蜀 运 行 ， 利 于 保持 环境 稳定 ， 便 于 定位 
回归 问题 。 这 个 解决 方案 有 三 个 部 分 。 

提交 队列 : 允许 工程 师 在 提交 代码 变更 之 前 执行 测试 (和 收集 性 能 
延 时 数据 ) 。 开 发 人 员 就 能 更 快 得 到 反馈 ， 避 免 把 缺陷 引入 代码 库 。 

持续 构建 把 测试 服务 器 同步 成 最 新 的 代码 并 持续 执行 相关 测试 ， 
发 现 并 阻止 回归 问题 。 这 使 团队 可 以 把 用 于 检测 回归 问题 的 时 间 ， 从 几 
天 或 几 星期 缩减 到 小 时 或 分 钟 级 别 。 

产品 性 能 延迟 检测 : 用 于 定位 特定 代码 变更 导致 的 产品 性 能 延迟 回 
归 问 题 。 我 们 对 变化 范围 进行 切 分 ， 在 多 个 检查 点 分 段 运行 测试 。 

这 个 方法 在 我 们 的 产品 发 布 前 帮助 定位 了 很 多 关键 缺陷 ， 并 推动 了 
测试 前 移 ， 因 为 开 肥 人员 自 己 就 可 以 非常 容易 地 局 动 这 些 测试 。 

HGTS: 你 们 都 有 哪些 创新 《技术 上 的 和 非 技术 的 ) 的 工作 ? 你们 
从 中 获得 了 怎样 的 经 验 ? 

Sujay: 我 们 正在 进行 的 一 些 实验 性 的 工作 包括 反馈 驱动 的 开发 工 
有 具 ， 用 于 收集 合适 的 指标 数据 并 反馈 给 我 们 的 工程 团队 来 提高 他 们 的 生 
产 效率 。 还 包括 代码 可 视 化 工具 、 代 人 码 复杂 度 度量 工具 和 其 他 一 些 东 
西 。 另 外 一 个 领域 是 先进 的 开发 环境 ， 帮 助 工 程 团 队 更 好 地 使 用 IDE 和 












































度量 数据 来 提高 代码 质量 、 加 快 版 本 发 布 的 速度 。 其 他 正在 开发 的 工具 
还 包括 在 整个 公司 范围 使 用 的 经 验 回顾 工具 ， 使 产品 的 发 布 数据 变 得 统 
一 和 可 操作 。 

HGTS: 你 们 在 印度 为 一 个 分 布 在 全 球 各 地 的 软件 公司 提供 测试 工 
程 支持 ， 有 什么 经 验 可 以 分 享 吗 ? 

Sujay: 这 很 难 ， 但 我 们 证 明了 其 可 行 性 。 我 的 主要 经 验 有 以 下 两 





=e 
如 宁 你 选择 了 合 庆 的 团队 和 项 目 ， 使 用 “跟随 太阳 ”的 模式 就 能 工作 

得 很 好 。 作 为 一 个 全 球 分 布 的 团队 ， 我 们 克服 了 很 多 困难 ， 但 也 走 过 索 
路 。 有 一 个 良好 的 工作 模式 ， 能 够 让 不 同时 区 的 团队 展 好 合作 非常 关 
键 。 还 有 ， 要 仔细 挑选 你 的 项 目 和 团队 。 你 需要 对 开发 的 产品 充满 激情 
的 人 和 非常 善于 合作 的 人 。 

众 包 测 试 是 力 一 个 对 我 们 很 有 用 的 方式 。 我 们 利用 了 印度 测试 社区 
里 庞大 的 人 才 池 ， 也 利用 了 众 包 模 式 中 资源 的 时 区 差异 ， 这 些 都 很 好 。 

最 重要 的 是 要 雇佣 优秀 的 人 才 ， 让 他 们 为 关键 的 项 目 工作 。Google 
并 不 是 在 追逐 低 成 本 ， 因 为 还 有 比 印 度 更 便宜 的 国家 。 我 们 雇佣 了 高 质 
量 的 人 才 ， 让 他 们 在 Google 能 获得 非常 好 的 机 会 。 我 们 对 Google 做 出 了 
相当 大 的 贡献 ， 而 我 们 的 TE 和 SET 都 拥有 光明 的 职业 前 景 。 我 们 都 能 够 
成 功 。 











4.11 工程 经 理 Brad Green 访谈 


“不 穿 鞋 的 ?Brad Green 在 Google 做 过 很 多 产品 的 测试 经 理 ， 包 括 
Gmail. Google ”Docs 和 Google+。 他 现在 是 Google Feedback 的 开发 经 
理 ， 并 在 一 个 名 为 Angular 的 项 目 中 尝试 Web 开 发 框架 。 在 工作 中 他 是 被 
公认 的 有 伟大 想法 的 人 ， 而 且 他 不 穿 鞋 ! 

HGTS: 你 拥有 在 苹果 公司 的 开发 背景 什么 促使 你 来 到 Google， 
并 转 做 工程 生产 力 方 同 呢 ? 

Brad: 我 是 被 Linus Upson 介 绍 加 入 的 。 他 曾 和 我 在 NeXT 公 司 共 
事 ， 他 当时 就 对 Google 很 感 兴趣 。 在 我 长 达 六 个 月 的 面试 过 程 中 ， 是 
Patrick ”Copland 说 服 我 最 终 加 入 工程 生产 力 部 门 。 这 对 我 来 说 是 件 好 
事 ， 我 在 这 个 职位 上 学 到 了 很 多 东西 。 现 在 我 重新 做 回 了 开发 经 理 ， 我 
能 够 做 得 更 好 。 也 许 每 个 开 友 人 员 都 应 该 在 测试 的 职位 上 走 一 遭 ! 

HGTS: 你 加 入 Google 之 后 ， 在 测试 文化 中 什么 是 最 令 你 感到 意外 
的 ? 

Brad: 那 还 是 2007 年 ，Patrick 在 前 言 里 提 到 的 转型 还 没有 真正 完 
成 。 令 我 意外 的 是 这 里 已 经 有 了 相当 多 关于 怎么 做 测试 的 积累 。 每 当 我 
接触 一 个 新 团队 的 时 候 ， 总 能 有 一 些 测试 专家 令 我 吃惊 。 但 是 当时 的 问 
题 是 这 些 专业 积累 的 分 布 极度 不 均 。 这 跟 爱 斯 基 麻 人 有 数 百 种 词汇 表 
达 “ 雪 ”一 样 〈 注 : 其 实 并 不 准确 ， 
http://en.wikipedia.org/wiki/Eskimo_words_for_snow) ， 在 Google 也 有 数 
不 清 的 测试 术语 。 我 感觉 每 当 我 学 习 另 一 个 团队 的 经 验 时 ， 必 须 学 习 一 
套 新 的 测试 术语 。 有 些 团队 使 用 很 严格 的 术语 ， 有 些 则 不 是 。 很 明显 我 
们 需要 改变 。 











HGTS: 自从 你 加 入 Google 以 来 ， 关 于 测试 的 改变 最 大 的 是 什么 ? 

Brad: 有 两 个 。 第 一 ， 开 发 人 员 更 多 地 介入 测试 过 程 ， 并 编写 自动 
化 测试 。 他 们 了 解 单元 测试 、API 测试 、 集 成 测试 和 系统 测试 。 如 果 在 
持续 构建 版 本 中 发 现 遗 漏 的 问题 ， 他 们 会 本 能 地 创建 更 多 的 测试 。 绝 大 
多 数 情 况 下 ， 你 根本 不 需要 提醒 他 们 ! 这 种 做 法 带 来 的 是 代码 在 提交 时 
就 拥有 很 高 的 质量 ， 也 使 得 产品 发 布 能 够 更 快 。 第 二 ， 我 们 能 够 吸引 数 
百名 一 流 工 程 师 加 入 测试 岗位 。 我 认为 这 两 点 是 相关 的 。 这 是 一 种 文 
化 ， 测 试 很 有 价值 而 做 测试 也 能 够 使 你 获得 认可 。 

HGTS: 我 们 谈 谈 在 Google 做 经 理 的 经 历 吧 。 在 Google 作为 一 名 
经 理 ， 最 难 、 最 简单 和 最 有 意思 的 方面 分 别 都 是 哪些 ? 

Brad: Google 聘 用 的 都 是 有 极端 自我 驱动 力 的 家 伙 。“ 按 我 说 的 
做 ”可 能 奏效 一 次 ， 但 要 是 用 多 了 ， 这 群 聪 明 的 家 伙 束 会 不 理 你 而 去 做 
那些 他 们 觉得 最 该 做 的 事情 。 我 的 成 功 经 验 就 是 要 让 他 们 能 够 做 他 们 最 
想 做 的 事情 ， 为 他 们 创造 条 件 ， 提 供 建议 ， 进 行 指导 。 我 觉得 如 果 我 直 
接 下 命令 ， 束 会 让 他 们 丧失 自己 做 出 正确 决断 的 能 力 。 我 的 职称 虽然 是 
经 理 ， 但 是 我 尽量 少 做 管理 上 的 事情 。 这 其 实 是 一 个 引领 者 的 角色 ， 需 
要 能 够 带领 一 群 极其 聪明 、 极 具 激 情 的 工程 师 。 经 理 们 都 清楚 这 一 点 。 

HGTS: 你 的 团队 做 了 很 多 关于 开发 和 测试 度量 方面 的 工作 。 什 么 
指标 是 有 效 的 ?你 们 跟踪 了 什么 数据 ?这 些 数 据 是 如 何 影响 质量 的 ? 

Brad: 说 实话 ， 我 们 做 了 很 多 东西 ， 但 取得 的 进展 很 有 限 。 在 这 个 
领域 我 已 经 失败 了 四 年 ， 所 以 我 觉得 我 学 了 很 多 东西 ! 我 说 失败 ， 是 因 
为 我 们 倾注 了 大 量 的 精力 来 寻找 衡量 代码 和 测试 质量 的 指标 ， 让 团队 可 
以 用 作 权 威 的 指导 。 但 是 指标 很 难 被 通用 化 ， 因 为 相关 环境 的 影响 非常 
重要 。 是 的 ， 测 试 越 多 越 好 ， 但 如 果 它 们 非常 慢 或 者 并 不 可 靠 的 时 候 就 
是 例外 。 是 的 ， 小 型 测试 要 比 大 型 测试 好 ， 但 如 果 你 真 的 需要 系统 测试 
来 验证 所 有 部 分 都 正确 关联 的 时 候 就 是 例外 。 一 些 度 量 指标 很 有 用 ， 但 
是 测试 的 实现 千差万别 ， 跟 应 用 程序 本 身 的 代码 一 样 ， 更 像 一 种 艺术 形 
































态 。 我 发 现 测试 中 关于 沟通 交流 的 方面 要 比 科 学 技术 的 方面 要 难得 多 。 
所 有 人 都 知道 要 有 好 的 测试 ， 但 我 们 中 大 部 分 人 又 很 难 让 我 们 的 团队 真 
的 来 编写 这 些 测试 。 我 所 知道 的 最 好 的 工具 就 是 竞争 。 你 想 要 更 多 的 小 
型 测试 ?把 自己 的 团队 和 其 他 团队 比较 。 瞧 瞪 他 们 团队 ; 他 们 有 84% 的 
单元 测试 覆盖 率 而 且 他 们 的 整个 测试 集 5 分 钟 就 能 执行 完 ! 我 们 可 不 能 
被 他 们 打败 了 ! 虽然 需要 监控 各 种 指标 ， 但 是 首先 要 信任 你 的 团队 。 当 
然 ， 你 还 必须 保持 谨慎 的 态度 ， 毕 竟 无 论 你 之 前 完成 了 多 少 测试 ， 你 还 
是 要 发 布 给 最 终 用 户 ， 而 最 终 用 户 的 环境 里 有 很 多 东西 是 你 没 法 预测 或 
复 现 的 。 

HGTS: 这 就 是 为 什么 你 要 去 做 Google Feedback 的 原因 ! 你 能 给 
我 们 讲 讲 Google Feedback 的 目的 吗 ? 它 要 解决 什么 问题 ? 

Brad: Feedback 人 允许 最 终 用 户 报告 他 们 正在 使 用 的 Google 产品 中 
的 问题 。 你 可 能 会 说 ， 这 个 简单 。 不 就 是 在 页 面 上 放 个 表单 ， 让 用 户 填 
些 信息 然后 提交 么 ?其实 ， 很 多 团队 都 尝试 过 这 种 方法 ， 最 后 发 现 他 们 
根本 处 理 不 了 大 量 的 用 户 反 人 馈 报 告 一 一 很 多 情况 下 ， 每 天 有 数 干 件 之 
多 。 他 们 还 发 现 很 难 跟踪 分 析 这 些 问 题 ， 因 为 用 户 提 交 的 信息 通常 不 
全 ， 有 时 甚至 还 是 错 的 。 这 些 都 是 Feedback 要 解决 的 问题 。 

HGTS: Google Feedback 是 怎么 做 的 呢 ? 

Brad: Feedback 一 开始 会 从 用 户 那 里 收集 它 可 能 收集 到 的 所 有 东 
西 ， 并 且 要 保护 他 们 的 隐私 信息 。 浏 览 器 、 操 作 系 统 、 插 件 及 其 他 环境 
信息 都 是 很 容易 获得 的 信息 ， 而 且 对 于 跟踪 解决 问题 来 说 至 关 重 要 。 真 
正厅 烦 的 问题 是 获取 用 户 屏 莫 的 快照 。 由 于 安全 性 的 原因 ， 浏 览 器 本 号 
不 能 截取 它 正 在 显示 内 容 的 快照 。 我 们 用 一 种 安全 的 方式 用 JavaScript 
重新 实现 了 浏览 器 的 展现 引擎 。 我 们 截取 屏幕 快照 ， 然 后 请 用 户 在 页 面 
中 把 他 们 发 现 问题 的 区 域 选择 出 来 突出 显示 ， 我 们 还 要 求 用 户 用 文字 措 
述 发 现 的 问题 。 训 练 最 终 用 户 提 交 优 质 的 bug 报 告 是 不 现实 的 ， 而 多 次 
反复 以 后 ， 这 些 屏 舌 快 照会 使 一 些 模糊 的 问题 描述 变 得 清晰 。 












































HGTS: 但 是 有 那么 多 用 户 ， 你 们 会 不 会 对 同一 个 问题 一 次 又 一 次 
的 收 到 重复 的 问题 报告 ? 这 好 像 是 一 个 数据 规模 的 问题 。 

Brad: 为 了 解决 数据 量 的 问题 ， 我 们 会 做 自动 聚 类 ， 把 相似 的 报告 
分 组 。 如 果 数 干 用 户 都 报告 了 同一 个 问题 ， 我 们 把 它 放 进 同一 个 桶 中 。 
人 工 发现 这 数 干 个 问题 并 把 它们 分 组 是 非常 困难 的 。 之后， 我 们 根据 报 
告 的 数据 量 对 这 些 问 题 组 进行 排序 ， 找 到 对 用 户 影 响 最 大 的 问题 。 这 样 
就 能 知道 我 们 最 迫切 需要 解决 的 是 什么 问题 。 

HGTS: Google Feedback 团 队 有 多 少 人 ? 

Brad: 这 个 团队 有 12 名 开发 人 员 和 3 名 项 目 经 理 。Feedback 团 队 中 
项 目 经 理 的 数量 比 一 般 Google 团 队 都 要 多 ， 但 为 了 要 完成 很 多 路 产品 的 
横向 合作 ， 这 还 是 必要 的 。 

HGTS: 发 布 Google Feedback 的 过 程 中 遇 到 的 最 大 挑战 是 什么 ? 技 
术 上 的 或 是 其 他 的 ? 

Brad: 技术 方面 来 说 ， 创 建 快 照 绝 对 是 最 大 的 挑战 。 很 多 人 都 觉得 
我 们 试图 这 么 做 简直 是 疡 了 。 现 在 这 个 功能 运行 的 出 奇 的 好 。 自 动 问题 
肾 类 也 是 一 个 挑战 ， 而 且 到 现在 也 还 没有 完全 解决 。 我 们 在 处 理 不 同 语 
言 的 问题 报告 方面 做 得 相当 不 错 ， 但 也 有 很 长 的 路 要 走 。 

HGTS: Google Feedback 的 未 来 会 怎么 发 展 ? 将 来 有 机 会 为 非 
Google 的 站 点 开放 使 用 吗 ? 

Brad: 我 们 的 目标 是 给 我 们 的 最 终 用 户 提 供 一 种 方式 与 我 们 对 话 ， 
交流 他 们 在 我 们 的 产品 中 发 现 的 问题 。 目 前 ， 这 种 交流 还 是 单 加 的。 我 
认为 将 来 我 们 要 做 的 是 完成 这 个 对 话 回 路 。 我 们 目前 还 没有 癌 外 部 产品 
开放 的 计划 ， 不 过 我 觉得 这 也 是 一 个 好 主音。 

HGTS: 概括 来 说 ， 你 觉得 软件 测试 领域 的 下 一 次 飞跃 会 是 什么 ? 

Brad: 我 希望 看 到 测试 能 在 开发 环境 中 成 为 “一 等 公民 ”， 而 不 是 留 
到 以 后 才 考 虑 的 问题 。 要 是 各 种 编程 语言 、 库 、 框 加 和 工具 等 都 “ 清 
楚 ” 你 开发 的 功能 代码 必须 要 进行 测试 ， 并 且 能 帮助 你 编写 这 些 测 试 ， 























那 表 定 很 棒 。 因 为 现在 的 情况 是 ， 我 们 必须 综合 不 同 的 测试 框架 ， 测 试 
代码 很 难 编写 ， 很 难 维护 ， 运 行 也 很 不 稳定 。 我 想 如 果 我 们 能 把 “ 测 
试 ” 放 到 最 底层 来 完成 ， 一 定 能 获得 很 多 益处 。 

HGTS: 你 有 没有 关于 James Whittaker 博 士 的 爆料 可 以 让 大 家 知道 
的 ? 

Brad: 除了 那 次 他 在 Little Bo Peep 发 生 的 小 意外 之 外 ， 还 是 让 那些 
在 我 们 管理 层 内 部 发 生 的 事 儿 只 在 有 限 的 范围 内 流传 吧 ! 

















4.12 James Whittaker 7; i% 


在 James 的 办 公 室 里 我 们 调转 果子 对 他 本 人 进行 了 采访 。James 在 巨 
大 的 锣鼓 声 中 加 入 了 Google 并 成 为 极 受 认 可 的 测试 名 人 。 他 的 文章 主 
宰 了 我 们 的 测试 博客 ， 他 在 GTAC 上 的 出 现 吸 引 了 大 批 的 人 群 ， 他 为 
Google 市 来 了 专业 性 的 指导 和 巡回 活 讲 。 他 强大 的 个 人 魅力 在 西雅图 和 
科 特 兰 办 公 室 ， 甚 至 整个 公司 几乎 无 人 能 出 其 在 ， 如 果 说 除了 谁 的 话 ， 
那 人 也 只 能 是 Patrick Copeland 了 。Pat 是 老板 ， 但 是 要 说 谁 是 Google 在 测 
试 领域 的 精神 领袖 ， 那 人 就 是 James。 

HGTS: 你 在 2009 年 离开 微软 加 入 了 Google， 当 年 你 在 微软 的 博客 

宣布 这 一 决定 却 没 有 指明 你 要 加 入 的 公司 名 称 。 你 能 讲 讲 为 什么 吗 ? 
是 为 了 制造 神秘 感 吗 ? 

James: 上 来 就 给 我 出 难题 啊 ?” 同 志 们 ! 讲 好 了 只 问 简 单 问题 的 ! 

HGTS: 你 答应 有 问 必 答 的 ， 所 以 回答 问题 吧 ! 

James: 好 吧 ， 我 主要 想 通 过 MSDN 上 的 博客 及 时 间 人 们 通告 我 将 
离开 的 消息 。 在 从 微软 公司 离职 这 件 事 上 ， 我 有 点 儿 信心 不 足 ， 当 时 大 
家 还 都 不 怎么 上 Twitter， 所 以 我 决定 在 最 大 众 化 的 论坛 上 广 而 告 之 。 我 
想 把 这 个 消息 能 一 次 性 地 告诉 尽 可 能 多 的 人 ， 而 不 必 参 加 一 连 串 的 那 种 
面对面 的 “我 要 离职 了 ”的 会 议 。 事 实 上 ， 当 时 很 多 的 微软 同事 都 阅读 我 
的 博客 ， 而 不 是 看 我 的 邮件 ! 所 以 在 当时 那 是 发 出 这 个 消息 的 最 佳 方 
案 。 人 们 得 知 我 要 离开 以 后 伦 了 很 大 力气 劝 我 留 下 来 。 要 决定 离开 一 家 
你 乐于 为 其 工作 的 公司 ， 离 开 共 事 多 年 的 朋友 并 不 容易 。 我 喜欢 微软 也 
非常 尊重 在 那里 工作 的 工程 师 ， 从 那里 离开 对 我 来 说 挺 艰 难 ， 但 我 也 不 
想 再 质疑 自己 的 决定 。 说 实话 ， 如 果 再 让 更 多 的 人 有 机 会 来 游说 我 ， 我 








真有 可 能 就 动摇 了 。 我 真 的 很 想到 Google 来 工作 ， 所 以 ， 我 不 能 给 他 们 
阻止 我 的 机 会 。 

HGTS: 为 什么 呢 ? Google 哪 些 地 方 吸引 了 你 ? 

James: 其 实说 来 挺 神奇 的 。 早 年 间 我 曾 做 过 大 学 教授 ， 还 开创 了 
自己 的 公司 ， 我 做 过 除了 为 大 公司 工作 以 外 的 所 有 的 事 。 当 我 鼓 起 勇气 
为 大 公司 工作 的 时 候 ， 我 决定 找 一 间 真 正大 的 大 公司 ， 越 大 越 好 ， 我 的 
工作 能 影响 到 的 用 户 越 多 越 好 。 我 想 让 自己 在 工业 界 的 事业 获得 成 功 ， 
那 为 什么 不 选择 顶尖 的 公司 呢 ? 这 正 是 多 年 以 前 微软 吸引 我 的 地 方 ， 也 
是 后 来 Google 吸 引 我 的 地 方 。 我 要 去 大 公司 。 我 还 要 在 世界 上 最 好 的 大 
公司 工作 。 不 过 真正 打动 我 的 是 ”Google 逐渐 成 为 最 棒 的 软件 测试 公 
司 。 长 时 间 以 来 一 直 是 微软 占据 着 这 个 位 置 ， 我 认为 是 Patrick Copeland 
从 微软 那里 夺 走 了 这 一 头衔 。Google 看 起 来 是 对 一 个 测试 者 来 说 最 棒 的 
地 方 。 最 后 是 我 参加 的 那些 面试 帮 我 做 了 来 ” Google ”工作 的 决定 。 
Patrick Copeland. Alberto Savoia. Brad Green, Shelton Mar. Mark 
Striebeck CLAMS HAD 都 面试 过 我 ， 那 些 谈话 简直 棒 极 了 。 我 和 
Alberto 在 我 的 “面试 ?过 程 中 把 整个 白板 都 写 满 了 。 他 后 来 甚至 回忆 说 当 
时 竟然 筷 了 问 我 任何 问题 。 

Shelton 和 我 在 很 多 问题 上 看 法 不 一 致 ， 不 过 他 对 我 的 观点 态度 很 开 
放 。 虽 然 观 点 存在 分 卜 ， 但 也 令 我 印象 深刻 。 与 当时 面试 的 时 候 相 比 ， 
我 们 现在 达成 一 致 的 观点 多 了 很 多 ! Brad 呢 ， 他 特别 栈 。 我 是 说 他 在 面 
试 的 时 候 竟 然 没 穿 鞋 〈 当 时 是 二 月 份 ) ， 而 他 的 看 法 也 有 点 儿 属 于 那 种 
不 罕 鞋 的 类 型 。Mark ”几乎 把 全 部 的 面试 时 间 都 用 来 说 服 我 加 入 Google 
工作 。 在 这 些 面 试 中 ， 各 种 思想 的 火花 激 沪 碰撞 ， 沪 气 回肠 ， 屏 如 隔 
世 。 面 试 完成 之 后 ， 我 都 累 极 了 。 我 回想 那 时 钻 进 出 租车 里 想 自 己 找到 
了 一 家 最 好 的 公司 ， 又 有 点 儿 担 心 自 己 是 否 能 有 足够 的 能 量 到 这 里 工 
作 。 我 的 确 担 心目 己 是 不 是 能 作出 页 献 ， 这 太 有 挑 成 了 ， 超 出 了 我 习惯 
的 舒适 地 融 。 不 过 我 喜欢 接受 挑战 ， 而 且 我 相信 成 功 绝 不 会 来 得 那么 容 

















易 。 毕 竟 ， 又 有 谁 只 满足 于 那些 轻松 的 工作 呢 ? 

HGTS: 那 Google 有 没有 训 负 你 的 这 份 期 望 ? 

James: 噢 ， 是 呀 ， 这 可 真 不 是 一 份 轻松 的 工作 ! 不 过 我 估计 你 是 
指 激情 的 部 分 。 我 实话 实说 ， 在 微软 也 有 大 量 优秀 的 测试 人 员 和 对 测试 
的 热情 。Google 的 不 同 在 于 这 种 激情 更 容易 被 传播 。Alberto 和 我 从 来 没 
有 在 同一 个 团队 共 过 事 ， 但 是 我 们 可 以 通过 那 20% 的 自由 时 间 在 一 起 工 
作 。Brad 和 我 在 IDE 和 诸如 自动 报告 bug (Brad 通 过 Google Feedback 而 我 
通过 BITE) 方面 都 还 有 合作 。Google 很 懂得 为 这 种 合作 提供 空间 ， 并 
使 它 作为 日 党 工作 的 一 部 分 被 认可 。 

HGTS: 我 们 在 科 特 兰 和 你 一 起 工作 过 ， 我 们 见识 了 团队 士气 上 的 
巨大 变化 ， 整 个 团队 能 高 效 地 完成 工作 。 你 有 什么 秘诀 ? 

James: 我 承认 我 加 入 以 后 科 特 兰 确实 提高 了 不 少 ， 不 过 我 不 想 沾 
沾 自 喜 ， 目 步 不 前 。 变 化 一 定 程 度 上 来 自 于 足够 大 的 团队 。 我 的 到 来 引 
发 了 一 波 巨 大 的 入 职 潮 ， 很 多 非常 有 才华 的 人 也 加 入 了 Google。 开 始 的 
几 个 月 里 ， 我 们 的 测试 团队 增长 超过 了 四 倍 。 我 可 以 组 建 更 大 的 团队 ， 
让 不 同 产品 线 上 的 团队 在 类 似 的 事情 上 进行 合作 。 与 原来 紧 跟 开发 的 孤 
六 测试 团队 不 同 ， 我 们 有 了 很 多 测试 团队 能 够 坐 在 一 起 ， 互 补 互助 ， 共 
同 提高 。 这 对 士气 和 生产 效率 都 有 巨大 的 提升 作用 。 更 多 的 人 手 也 人 允许 
我 能 够 把 像 你 们 两 位 这 样 资 深 的 人 才 从 现 有 的 项 目 中 解放 出 来 ， 赋 予 更 
富 挑战 的 工作 。Jeff 原 来 为 Google Toolbar 编 写 预 提交 的 代码 。 嘿 ， 这 多 
浪费 你 的 才华 啊 ! Jason， 你 原来 在 测试 Google Desktop。 我 告诉 你 们 作 
一 个 优秀 经 理 的 秘诀 就 是 能 让 人 发 挥 所 长 ， 做 到 这 点 你 的 工作 就 差不多 
完成 了 。 下 属 会 更 开心 ， 项 目 也 做 的 更 好 。 但 我 们 需要 更 多 人 手 才 能 
到 这 一 步 。 

充足 的 人 手 还 可 以 让 我 们 有 足够 的 空间 ， 自 由 文 配 20% 的 时 间 来 做 
一 些 探索 性 的 工作 。 我 可 以 启动 一 些 更 具 风 险 的 实验 性 项 目 。 我 们 开始 
做 一 些 不 受 软 件 发 布 压力 制约 的 工具 项 目 ， 这 些 项 目 更 多 地 源 自 于 我 们 




















的 热情 。 我 发 现 没 有 比 开 发 工具 更 能 激发 测试 人 员 的 创造 性 和 提升 测试 
团队 士气 了 。 坦 白 说 ， 我 觉得 这 才 是 测试 工作 最 令 人 满意 的 部 分 。 也 许 
我 从 内 心里 更 倾向 于 自己 是 个 工具 开发 者 而 不 是 测试 者 。 

HGTS: 对 于 Google 的 组 织 结构 最 令 你 满意 的 地 方 是 什么 ? 

James: 这 个 问题 容易 回答 ! 实际 上 我 会 癌 那 些 候选 人 这 样 推销 
Google: 测试 人 员 同 测试 人 员 汇 报 ， 测 试 人 员 自 己 决 定 自己 的 发 展 。 这 
就 是 我 对 Google 最 满意 的 两 件 事 。 测 试 人 员 不 再 附属 于 任何 人 。 测 试 有 
自己 的 招聘 委员 会 ， 上 自己 的 评估 委员 会 ， 自 己 的 晋升 委员 会 。 这 感觉 就 
像 联合 国 承认 测试 作为 一 个 独立 国家 一 样 ! 我 们 的 文化 里 没有 任何 从 属 
的 部 分 。 如 果 还 要 找 出 别 的 原因 ， 就 是 测试 角色 的 稀缺 性 。 开 发 团队 必 
须 通过 切 吴 努力 提高 质量 才能 赢得 测试 的 人 力 文 持 。 测 试 人 员 必 须 非 常 
聪明 。 我 们 的 资源 很 紧张 ， 所 以 必须 特别 善于 安排 优先 顺序 ， 必 须 善 于 
自动 化 开发 ， 必 须 善 于 和 开发 人 员 谈 判 。 壬 缺 性 融 来 的 是 资源 优化 。 
Pat 做 了 很 多 正确 的 事 ， 但 是 我 认为 ， 资 源 稀缺 这 一 点 促成 了 很 多 文化 
ERA. 

HGTS: 微软 没有 集中 的 测试 组 织 结构 ， 你 花 了 多 长 时 间 来 适应 
Google 的 这 种 文化 ? 

James: 我 刚 来 的 时 候 Pat Copeland 给 了 我 两 条 建议 。 第 一 条 ， 是 先 
花 一 些 时 间 来 观察 学 习 。 这 点 很 重要 。 在 大 公司 要 多 花 一 ae 
在 微软 高 Pa im aie c nS 开始 的 几 个 
月 我 按照 ， 询 问 而 不 是 直接 尝 
试 ， 诸 如 此 类 。 C EE, 实际 上 我 其 至 还 ` 多 延续 了 几 
个 星期 ! 

HGTS: 你 刚才 说 是 两 条 建议 .……. 

James: "X, E, XAR, RRI . ARPS DUAE 
话 ， 我 刚才 私吞 了 一 条 ! 他 的 第 二 条 建议 ， 我 当时 并 不 喜欢 ， 不 过 后 来 
证 明 这 条 建议 比 前 面 那 条 更 棒 。 他 当时 把 我 拉 到 一 边 ， 然 后 说 ,“ 兄 















































第 ， 我 知道 你 在 来 Google 之 前 已 富 盛 名 ， 但 是 在 这 个 公司 里 ， 你 还 什么 
成 就 也 没 做 出 来 呢 。”Pat 很 少 绕 灾 子 ， 你 不 必 费 尽心 思 从 他 那里 体会 什 
么 不 便 言 明 的 深意 。 他 的 话 通 常 都 直接 了 当 ， 这 次 他 想 说 的 就 是 Google 
并 不 会 关心 我 以 前 做 了 什么 。 我 必须 在 Google 内 部 获得 成 功 ， 否 则 其 他 
事情 都 免 谈 。 在 Google 想 要 成 功 不 能 只 是 到 处 晃 晃 。 他 建议 我 选择 发 布 
一 些 重大 的 产品 ， 可 能 的 话 ， 做 出 些 与 众 不同 的 东西 来 。 我 选择 了 
Chrome 和 Chrome OS， 按 他 说 的 完成 了 。 我 是 Chrome OS 的 第 一 任 测试 
经 理 ， 然 后 当 它 发 布 以 后 ， 我 把 这 个 位 置 交 给 了 我 的 一 位 下 属 。Pat 是 
对 的 ， 当 你 真正 完成 了 一 些 重大 的 事情 以 后 ， 其 他 事情 也 就 容易 了 。 我 
之 前 的 经 历 让 我 能 够 加 入 这 里 ， 但 在 Google 内 部 获取 成 功 是 非常 关键 的 
事情 。 正 是 由 于 我 做 到 了 这 一 点 ， 为 人 们 关心 的 产品 作出 了 贡献 ， 才 获 
得 了 人 们 的 尊重 。 如 果 我 再 换 工 作 的 话 ， 还 会 使 用 这 样 的 公式 : 先 虚 心 
学 习 ， 和 再 在 一 线 作出 成 绩 ， 然 后 开始 寻求 创新 的 方法 。 

HGTS: 除了 产品 测试 ，Pat 还 要 求 你 关注 哪些 方面 ? 

James: 是 的 ， 他 让 我 管理 测试 工程 师 CTE) 的 规范 化 。 测 试 开 发 
工程 师 CSET) 角色 已 经 存在 很 入 了 ， 大 家 都 很 清楚 这 个 职位 的 职业 成 
长 阶梯 ， 我 们 非常 了 解 对 SET 的 期 望 以 及 如 何 对 其 进行 业绩 评估 和 亚 
升 。 不 过 这 点 对 TE 来 说 ， 我 们 还 处 于 探索 的 过 程 中 。Pat 希 望 我 的 到 来 
能 让 测试 工程 师 这 个 角色 重 获 关 注 。 他 其 实 早 就 想 好 了 让 我 做 这 件 事 。 
我 猜想 他 觉得 平衡 的 天 本 已 经 向 SET 的 角色 倾斜 太 多 了 ， 需 要 让 TE 的 角 
色 重 获 新 生 。 告 诉 你 们 ， 他 从 来 没 告诉 过 我 这 些 ， 这 只 是 我 自己 的 感 


aM, 
Tho 





HGTS: 那 你 怎么 处 理 测 试 工程 师 角 色 的 问题 的 ? 

James: Pat 和 我 启动 了 一 个 测试 工程 师 的 工作 组 ， 这 个 组 织 现 在 仍 
然 存 在 。 我 们 每 两 周 见 一 次 面 ， 开 始 是 两 个 小 时 ， 后 来 减少 到 每 月 一 小 
时 。Pat 参 加 了 几 次 ， 然 后 就 交 给 我 来 运作 了 。 这 个 工作 组 由 大 约 12 名 
测试 工程 师 组 成 ， 他 们 全 都 是 Pat 杀 上 自 挑选 的 。 我 以 前 也 都 不 认识 他 


们 。 第 一 次 会 议 上 ， 我 们 列 了 两 个 列表 : 分 别 列 出 测试 工程 师 这 个 角色 
令 人 兴奋 和 感觉 不 碍 的 地 方 。 光 列 出 这 两 个 列表 的 时 候 就 有 一 泻 千 里 的 
感觉 ， 大 家 认同 的 好 的 方面 和 抱 候 的 坏 得 方面 基本 都 一 样 。 我 很 惊讶 大 
家 能 当 着 Pat WALEZI, KAARE. REIRE E 
里 见 过 太 多 的 会 议 ， 人 们 都 等 着 屋子 里 最 重要 的 那个 人 发 言 ， 之 后 再 跟 
着 他 讲 。 在 Google 根 本 不 会 这 样 ， 没 人 在 意 Pat 是 怎么 想 的 ， 因 为 这 个 
会 议 是 关于 他 们 自己 的 。 如 果 Pat 不 能 接受 这 一 点 ， 那 也 是 Pat 自 己 的 问 
题 。 这 真是 与 众 不 同 。 这 个 工作 组 做 了 大 量 的 工作 来 定义 测试 工程 师 这 
个 职位 ， 重 塑 了 测试 工程 师 的 职业 发 展 阶梯 。 测 试 工程 师 的 晋升 ， 都 会 
由 整个 测试 工程 师 团 队 开放 式 投票 完成 ， 这 种 方式 是 得 到 认可 的 。 这 项 
工作 非常 酷 ， 我 带领 整个 工作 组 来 庆祝 。 这 完全 是 一 次 草根 的 胜利 。 我 
们 还 制定 了 一 些 面试 原则 ， 帮 助 测试 开发 工程 师 和 软件 开发 工程 师 学 习 
如 何 面 斌 到 合适 的 测试 人 员 。 我 觉得 现在 可 以 说 测试 工程 师 已 经 和 测试 
开发 工程 师 的 角色 具有 同样 清晰 的 定义 了 。 

HGTS: 你 已 经 在 Google 摸 爬 滚 打 挺 长 时 间 了 ， 能 给 我 们 总 结 一 下 
Google 的 秘诀 吗 ? 我 们 在 测试 方面 都 有 哪些 “秘方 ? 

James: 那 就 是 测试 人 员 所 拥有 的 技术 能 力 〈 包 括 计 算 机 科学 的 专 
业 文 任 ) 、 测 试 资源 的 稀缺 从 而 获得 开发 人 员 帮 助 和 不 断 进 行 测试 优 
化 、 优 先 考 虑 自动 化 〈 这 样 才 能 让 人 去 做 那些 计算 机 做 不 好 的 事情 ) ， 
以 及 快速 迭代 、 集 成 和 获得 用 户 反 馈 的 能 力 。 其 他 公司 要 想 效仿 Google 
的 做 法 ， 应 该 从 这 四 个 方面 做 起 : 技能 、 稀 缺 性 、 自 动 化 和 运 代 集 成 。 
这 了 就 是 Google 测 斌 的“ 秘方”， 照 方 抓 药 吧 ! 

HGTS: 你 还 有 要 打算 写 的 书 吗 ? 再 来 一 本 测试 方面 的 书 怎么 样 ? 

James: 我 不 知道 。 我 的 书 都 不 是 事先 计划 好 的 。 我 的 第 一 本 书 ， 
源 自 于 我 在 佛罗里达 理工 学 院 教授 软件 测试 的 课程 教案 。 我 原来 并 没有 
计划 把 它 出 版 成 书 ， 但 后 来 我 在 STAR 演讲 的 时 候 ， 有 位 女士 问 我 是 不 
是 有 意 把 它 做 成 书 。 她 是 一 位 出 厂商 ， 这 就 是 《How to Break 



































Software》 的 由 来 。 我 独立 编写 了 那 本 书 的 每 个 字句 ， 那 可 真是 件 累 人 
的 工作 。 我 的 后 两 本 书 都 是 有 共同 作者 的 。Hugh Thompson 写 作 了 
(How to Break Software Security》， 我 在 其 中 提供 一 些 帮 助 。Mike 
Andrews 写 作 了 《How to Break Web Software》， 我 的 角色 还 是 提供 帮 
助 。 这 两 本 书 其 实 是 他 们 的 书 。 我 作为 作者 、 思 考 者 和 管理 者 帮助 完成 
写作 。 我 热爱 写作 ，Hugh 和 Mike 都 没有 嫉妒 我 比 他 们 写 的 好 。 你 们 两 

位 会 吗 ? 我 想 也 不 会 。 要 不 是 因为 有 我 ， 他 们 谁 也 写 不 成 那 两 本 书 〈 尽 
管 后 来 Hugh 又 写 了 另外 一 本 书 ， 但 我 的 说 法 还 是 成 立 的 ) 。 最 终 ， 我 

的 职业 生涯 写成 了 书 ， 而 我 身边 的 人 成 了 共同 作者 。 你 们 敢 否 认 这 一 点 
Hu ? 

HGTS: "8, Wm, wea scr] Da Pa Ee xui 我 们 
放 径 这 次 否认 的 权利 ! 

James: 我 也 不 是 完全 不 能 独立 写 一 本 书 ，《Exploratory Testing) 
就 是 男 外 一 本 我 想 自 己 完成 的 书 。 这 本 书 也 脱胎 于 我 在 会 议 上 的 演讲 。 
我 从 教材 和 资料 里 抽取 部 分 ， 积 累 起 来 ， 直 到 可 以 成 书 。 我 不 确定 如 果 
没有 你 们 俩 的 帮助 ， 这 本 书 还 能 不 能 完成 。 不 过 这 是 一 次 完全 真正 的 合 
作 ， 我 想 我 们 三 个 人 的 贡献 是 相当 的 。 

HGTS: 我 们 俩 个 人 都 很 高 兴 能 参与 其 中 。 我 们 可 能 比 你 更 能 写 代 
人 码 ， 但 必须 承认 你 在 语言 可 读 性 上 的 造 讶 ! 你 自己 最 喜欢 这 本 书 的 什么 
部 分 ? 

James: 整 本 书 我 都 喜欢 。 写 作 这 本 书 真 的 很 有 意思 。 倒 不 是 因为 
准备 写作 的 材料 ， 它 们 都 已 经 是 现成 的 了 ， 我 们 需要 做 的 就 是 把 它们 记 
录 下 来 。 如 果 一 定 要 挑 一 个 特别 喜欢 的 部 分 的 话 ， 我 会 选 其 中 的 访谈 音 
分 。 采 访 那 些 人 并 记录 下 来 很 有 趣 。 我 希望 自己 刚 来 Google 的 时 候 就 能 
进行 这 些 采 访 。Huang Dang 的 访谈 特别 值得 一 提 。 他 带 我 参观 了 
Android 实 验 室 ， 然 后 针对 测试 哲学 和 我 争论 起 来 ， 整 个 访谈 都 很 紧 
张 。 我 奋 笔 疾 书 地 记录 ， 从 学 校 毕业 以 后 我 还 从 来 没有 那么 快 地 写 过 
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字 。 那 是 我 和 他 在 一 起 度 过 的 最 有 价值 的 一 段 时 间 。 我 在 Google 经 历 了 
很 多 人 和 事 ， 但 直到 我 把 它们 写 下 来 之 前 ， 我 自己 都 没有 意识 到 。 我 想 
这 就 是 记者 要 做 的 事情 ， 你 必须 要 深入 了 人 解 你 的 采访 对 象 。 

HGTS: 如 果 你 没有 进入 测试 领域 ， 你 会 做 些 什么 ? 

James: 在 技术 领域 ， 我 会 做 开发 工具 和 开发 技术 传播 的 工作 。 我 
想 让 写 软件 变 得 更 简单 。 不 是 所 有 人 写 代码 都 能 像 Jeff Carollo 那 么 棒 ! 
我 都 不 能 相信 我 们 竟然 还 在 徒手 开发 应 用 。20 世纪 80 年 代 ， 我 在 大 学 
里 学 到 的 开发 技术 到 现在 还 在 用 。 这 太 疯 狂 了 。 整 个 技术 领域 都 没什么 
变化 ， 我 们 还 在 用 C++ 写 程序 。 

为 什么 软件 开发 一 点 儿 也 没 变 简单 ?为 什么 那些 糟糕 的 、 不 安全 的 
代码 还 比比 丝 是 ?开发 优秀 代码 应 该 比 开发 烂 代码 更 容易 才 对 。 我 会 为 
解决 这 个 问题 而 努力 。 技 术 传 播 也 很 重要 。 我 喜欢 公开 演讲 ， 我 喜欢 同 
技术 人 员 谈 论 技术 话题 。 把 与 开发 人 员 交 流 当 做 正式 工作 的 想法 ， 比 测 
试 还 要 来 得 令 人 兴奋 。 要 是 有 这 样 的 工作 机 会 一 定 通知 我 哦 。 

HGTS: 那 如 果 不 做 技术 领域 了 呢 ? 

James: 这 个 可 比较 难 回答 了， 我 还 没 考虑 过 其 他 的 职业 呢 。 我 对 
技术 领域 还 有 用 不 完 的 热情 。 不 过 要 是 真有 选择 ， 我 想 去 讲授 管理 学 的 
课程 。 你 们 老 是 说 我 是 个 不 错 的 管理 者 ， 最 近 我 还 认真 考虑 了 一 下 为 什 
么 我 做 的 还 不 赖 。 也 许 我 的 下 一 本 书 就 叫 《 怎 样 才能 不 做 差劲 儿 的 老 
板 》。 我 还 想 为 保护 环境 做 些 工作 。 我 喜欢 我 们 的 世界 ， 它 值得 我 们 去 
爱惜 和 维护 。 

E, REZEN, RKE. RER H CARIE] F 
杯 》 里 面 的 Norm 那样 : 我 走 进 酒吧 ， 大 家 大 喊 , “James! ”， 然 后 坐 在 
我 的 固定 吧台 那儿 的 人 会 自觉 把 座位 让 给 我 。 这 才 是 把 事 儿 干 好 了 的 感 
觉 。 我 想 自 己 能 像 Norm 那 样 赢得 所 有 人 的 尊敬 。 
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Google 的 测试 流程 可 以 非常 简练 地 概括 为 : 让 每 个 工程 师 都 注重 质 
量 。 只 要 大 家 诚实 认真 地 这 么 做 ， 质 量 就 会 提高 。 人 代码 质量 从 一 开始 就 
能 更 好 ， 早 期 构建 版 本 的 质量 会 更 高 ， 集 成 也 不 再 是 必须 的 ， 系 统 测试 
可 以 关注 于 真正 面 名 用户 的 问题 。 所 有 的 工程 师 和 项 目 都 能 从 堆积 如 山 
的 bug 中 解脱 出 来 。 

如 末 你 所 在 的 公司 能 对 质量 达到 这 种 层次 的 关注 ， 那 就 只 剩 下 一 个 
问题 了 一 一 下 一 步 是 什么 ? 

HSK, Google 的 下 一 步 已 经 开始 在 进行 了 。 当 我 们 不 断 完善 产品 
发 中 测试 角色 的 时 候 ， 我 们 其 实 也 在 流程 中 引入 了 几 个 明显 的 缺陷 。 本 
章 就 来 讲 讲 这 些 缺 陷 ， 讨 论 一 下 为 了 解决 这 些 问题 ，Google 的 测试 是 如 
何 进 化 的 ， 抑 或 是 如 何 退 化 的 。 测 试 的 去 中 心 化 已 经 发 生 了 ， 工 程 生 产 
FHS] (Engineering Productivity) 已 经 被 拆 分 融入 到 各 个 产品 团队 。 我 
们 认为 这 是 达到 一 定 的 测试 成 熟 度 以 后 的 一 种 自然 结果 。 在 Google 继 续 
区 分 开发 与 测试 已 经 不 是 最 好 的 选择 了 。 
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JU GEL AE UE EC Eid, MRR MAFRA R it Y AB EE 
与 质量 相关 的 事 ， 他 的 回答 往往 是 “测试 *。 可 是 测试 并 不 能 保证 质量 
质量 是 内 建 的 ， 而 不 是 外 加 的 。 因 此 ， 保 证 质量 是 开发 者 的 任务 ， 这 一 
扩 考 庸 置疑 。 这 束 市 来 了 第 一 个 致命 的 缺陷 ， 测 试 成 了 开 肥 的 按 杖 。 我 
们 越 不 让 开发 考 碟 测试 的 问题 ， 把 测试 变 得 越 简单 ， 开 发 就 越 来 越 不 会 
去 做 测试 。 

在 实际 生活 中 有 一 个 类 似 的 例子 : 我 们 坐 在 舒适 的 沙发 里 看 电视 的 
INR, AARARIMERS EEE. Mok, RITE A H OMESTRERE 
FJ. SOMERS Tate, SENRISKE, EOS AREA, 
什么 事 儿 也 没有 ! 修剪 草坪 的 服务 让 我 们 很 轻松 ， 是 太 轻 松 了 ， 以 至 于 
想 都 不 想 就 外 包 出 去 了 。 当 测试 也 成 为 一 种 服务 ， 能 让 开发 想 都 不 想 的 
时 候 ， 那 他 们 就 会 真 的 什么 也 不 想 了 。 测 试 应 该 需要 一 点 痛 百 ， 需 要 开 
发 人 员 费 点 心思 。 菜 种 程度 上 我 们 已 经 把 测试 变 得 太 轻 松 ， 把 开发 养 得 
太 懒 了 。 

测试 在 Google 作 为 一 个 独立 的 部 门 ， 让 这 个 问题 更 为 严重 。 保 证 质 
量 不 但 是 别人 的 问题 ， 它 甚至 还 属于 为 一 个 部 门 。 这 束 像 我 的 草坪 服 
务 ， 员 任 方 很 容易 确定 ， 出 问题 的 时 候 也 很 容易 就 把 贡 任 推卸 给 修 前 草 
坪 的 外 包公 司 。 

第 二 个 致命 缺陷 ， 还 是 与 开发 和 测试 的 组 织 结构 分 离 有 关 。 

测试 人 员 更 关注 自己 的 角色 ， 而 不 是 他 们 的 产品 。 如 果 产 品 不 被 关 
注 ， 那 它 就 好 不 了 。 毕 竟 ， 软 件 开发 的 最 终 目 的 不 是 编码 ， 不 是 测试 ， 
不 是 文档 ， 而 是 完成 一 个 产品 。 每 一 个 工程 师 的 角色 都 是 为 总 体 产品 服 











务 的 ， 而 角色 本 身 是 次 要 的 。 健 康 的 组 织 的 一 个 标志 是 ， 人 们 会 说 “我 
在 为 Chrome 工 作 ”， 而 不 是 “我 是 测试 ”。 

几 年 前 ， 我 在 一 次 测试 会 议 上 看 到 一 件 T 恤 用 希腊 语 和 英语 写 着 “我 
测试 ， 故 我 在 ”。 这 件 工 恤 的 制作 者 一 定 觉 它 无 比 巧 妙 ， 但 我 认为 这 不 过 
是 一 种 好 斗 的 口号 ， 不 利于 整体 产品 它 过 分 强调 了 测试 角色 的 作 
用 。 任 何 角色 都 不 应 被 过 分 强调 。 团 队 的 每 个 人 都 是 在 为 产品 工作 ， 而 
不 是 为 了 开发 过 程 中 的 某 个 部 分 。 开 发 过 程 本 里 就 是 为 产品 服务 的 。 除 
了 做 出 更 好 的 产品 ， 流 程 的 存在 还 有 其 他 目的 吗 ? 用 户 爱 上 的 是 产品 ， 
而 不 是 开发 产品 的 流程 。 

在 Google， 开 发 与 测试 的 分 离 造成 了 基于 角色 的 关联 ， 阻 碍 了 测试 
大 员 对 产品 的 关注 ; 

第 三 个 致命 的 缺陷 ， 是 测试 人 员 往 往 崇 拜 测 试 产 物 (test artifact) 
胜 过 软件 本 里 。 

测试 的 价值 是 在 于 测试 的 动作 ， 而 不 是 测试 产物 。 

相对 于 被 测 代 码 来 说 ， 测 试 工程 师 生 成 的 测试 产物 都 是 次 要 的 : 测 
试用 例 是 次 要 的 ; 测试 计划 是 次 要 的 ; bug 报告 是 次 要 的 。 这 些 产 物 都 
需要 通过 测试 活动 才能 体现 价值 。 不 幸 的 是 ， 我 们 过 分 称赞 这 些 产 物 
(比如 在 年 度 评估 时 ， 统 计 测试 工程 师 提交 的 bug 数 目 ) ， 而 态 记 了 被 
测 的 软件 。 所 有 测试 产物 的 价值 ， 在 于 它们 对 代码 的 影响 ， 进 而 通过 产 
品 来 体现 。 

独立 的 测试 团队 ， 倾 癌 于 把 重点 放 在 建设 和 维护 测试 产物 上 。 如 果 
把 测试 的 目标 定位 在 产品 的 源码 上 ， 整 个 产品 都 将 受益 。 因 此 ， 测 试 人 
员 必 须 把 产品 放 在 第 一 位 。 

最 后 一 个 致命 缺陷 也 许 是 最 深刻 的 。 产 品 经 过 最 严格 的 测试 发 布 以 
后 ， 用 户 有 多 大 可 能 仍然 发 现 测 试 中 遗漏 的 问题 ?答案 是 : 几乎 必然 发 
现 。 我 们 谁 都 没 见 过 哪个 产品 能 够 避免 漏 测 问题 所 带 来 的 困扰 “无 论 在 
Google 还 是 其 他 地 方 ) 。 创 作 本 书 时 ， 我 们 三 个 作者 都 在 为 Google+ 这 





























个 产品 工作 。 事 实 上 ， 许 多 Google+ 中 最 好 的 bug 的 发 现 者 是 Google 的 内 
部 试用 者 (dogfooder ) 那些 Google+ 团 队 以 外 试用 这 个 产品 的 
Googler。 我 们 想象 自己 是 用 户 ， 而 内 部 试用 者 就 是 真实 的 用 户 ! 

是 谁 在 做 测试 并 不 重要 ， 关 键 是 进行 了 测试 。 

内 部 试用 者 、 可 信赖 的 测试 者 、 众 包 测 试 者 ， 以 及 早期 用 户 都 可 能 
比 测试 工程 师 更 容易 发 现 bug。 实 际 上 ， 让 TE 做 的 测试 越 少 ， 支 持 其 他 
人 做 的 测试 越 多 ， 效 果 就 越 好 。 

有 这 么 多 问题 ， 我 们 能 做 些 什么 呢 ? 怎么 找 出 Google 测 试 中 所 有 做 
的 不 错 的 地 方 ， 并 使 其 更 加 专注 于 产品 ， 更 加 以 整个 团队 为 导向 呢 ? 我 
们 正 进 入 一 个 未 知 的 领域 ， 我 们 唯一 可 以 做 的 就 是 推测 。 但 是 我 们 认 
为 ， 本 书 揭 示 的 一 些 趋势 ， 为 推断 测试 在 Google 和 其 他 公司 的 未 来 发 展 
提供 了 基础 。 其 实 SET 和 TE 的 角色 本 身 ， 已 经 向 着 未 来 的 方向 转变 了 。 

在 Google， 其 实 这 两 个 角色 正 向 着 相反 的 方向 发 展 。SET 的 角色 越 
来 越 像 开发 ， 而 TE 的 角色 同 着 相反 的 方 回 越 来 越 像 用 户 。 这 种 转变 就 
像 成 熟 的 软件 开发 组 织 的 自然 进化 一 样 ， 正 在 有 机 地 进行 。 一 方面 ， 这 
种 趋势 来 自 于 技术 音 新 ， 软 件 开发 周期 更 加 紧凑 ， 开 发 、 测 试 和 用 户 可 
获得 一 致 的 持续 构建 版 本 ， 其 他 相关 的 非 技 术 人 员 有 机 会 参与 到 软件 开 
发 过 程 中 。 另 一 方面 ， 也 是 由 于 质量 保证 的 观点 更 加 成 熟 ， 质 量 需 要 每 
一 个 人 的 贡献 ， 而 不 专属 于 “测试 ?工程 师 。 

















5.2 SETHI 本 > 


简单 来 说 ， 我 们 认为 SET 没有 未 来 。SET 就 是 开发 。 就 这 么 简单 。 
在 Google,SET 的 薪资 与 开发 一 样 ， 以 开发 的 标准 评估 绩效 ， 并 且 两 个 角 
色 都 被 称 作 软件 工程 师 。 如 此 众多 的 相似 点 只 能 引 同 一 个 结论 : 他 们 其 
实 就 是 一 个 角色 。 

这 个 角色 正 逐 步 淡 化 ， 但 其 工作 本 身 并 不 会 消失 。SET 承 担 的 工作 
在 Google 相 当 关 键 。SET 直接 负责 很 多 功能 特性 ， 如 可 测试 性 、 可 靠 
性 、 可 调试 性 ， 等 等 。 如 果 我 们 把 这 些 功能 特性 与 用 户 界 面 及 其 他 功能 
模块 一 样 对 待 ， 那 么 SET 就 是 负责 这 些 功 能 特性 的 开发 工程 师 。 这 就 是 
我 们 认为 SET 这 个 角色 在 Google 和 其 他 成 熟 软 件 公 司 在 近期 将 要 发 生 
的 演变 。 除 了 把 测试 开发 与 其 他 功能 开发 同等 对 待 ， 还 有 什么 更 好 的 方 
TARE TLE MAS — SEZ En? 

这 正 是 目前 的 开发 流程 里 存在 问题 的 部 分 。 面 向 用 户 的 功能 都 被 产 
mAH (PM) 管理 ， 并 由 软件 开发 工程 师 编写 。 这 些 功 能 的 代码 ， 通 
过 一 套 良好 定义 的 自动 化 流程 跟踪 、 管 理 和 维护 。 然 而 ， 为 什么 测试 代 
码 却 由 TE 管 理 ， 由 SET 编写 ”这 是 测试 角色 演变 过 程 中 遗留 下 来 的 。 但 
是 这 种 演变 已 经 到 头 了 ， 是 时 候 让 测试 代码 成 为 一 等 公民 了 一 一 测试 代 
码 也 由 PM 管理 ， 由 软件 工程 师 编写 。 

哪些 软件 工程 师 能 胜任 测试 开发 工程 师 ， 负 责 质量 方面 的 功能 ， 并 
恪 尽 其 职 呢 ? 像 Google 这 样 的 公司 已 经 有 了 软件 测试 开发 工程 师 
(SET) 这 个 角色 ， 只 需要 让 他 们 转 为 开发 工程 师 就 可 以 了 。 但 在 我 们 
的 印象 中 ， 这 不 是 最 好 的 解决 方案 。 开 发 工程 师 ， 可 以 通过 负责 质量 方 
面 的 各 种 功能 特性 受益 (GE: Google 有 一 个 服务 可 靠 性 工程 师 (SRE) 

















计划 ， 称 为 质 控 使 命 。 工 程 师 在 完成 为 期 六 个 月 的 SRE 计 划 后 ， 可 以 获 
得 一 笔 可 观 的 现金 奖励 和 一 个 镶 有 “ 质 控 使 命 ?Google 奖 半 的 皮质 夹 
we) 。 然 而 ， 强 迫 人 们 做 这 件 事情 是 不 现实 的 ， 也 不 是 Google 的 方式 。 
汕 试 特性 应 该 由 团队 的 新 成 员 有 负责 ， 特 别 是 那些 资历 尚 线 的 员工 。 

下 面 讲 讲 我 们 的 理由 。 测 试 这 个 功能 特性 员 穿 了 整个 产品 。 因 此 ， 
负责 编写 测试 功能 特性 的 开发 者 ， 就 必须 学 习 产 品 从 用 户 界 面 到 API 的 
方方面面 。 除 此 之 外 ， 还 有 什么 更 好 的 办 法 迅速 学 习 产 品 的 设计 和 架构 
并 进行 深入 研究 呢 ? 对 任何 团队 的 任何 一 个 开发 者 来 说 ， 全 面 负责 产品 
的 汕 试 功能 《无 论 是 从 头 开 有 发、 修改 、 还 是 维护 ) 都 是 一 个 非常 理想 的 
热 吴 项 目 ， 或 者 次 其 实 是 最 佳 的 热 吴 项 目 。 团 队 里 来 了 一 个 新 成 员 的 时 
候 ， 原 有 的 测试 功能 开发 者 就 转 去 负 员 其 他 的 功能 而 让 位 给 新 成 员 。 每 
个 人 都 从 不 熟悉 到 融入 ， 逐 渐 所 有 的 开发 者 都 非常 理解 训 试 ， 并 真正 认 
真 地 对 符 质 量 。 

资历 尚 浅 的 开发 人 员 ， 或 是 刚 从 学 校 毕 业 的 学 生 ， 会 友 现 测试 开发 
绝对 是 最 好 的 起 步 扣 。 他 们 不 仅 能 从 中 学 习 整 个 项 目 ， 而 且 由 于 测试 代 
人 码 不 会 最 终 太 布 ， 也 束 避 免 了 产生 影响 到 最 终 用 户 的 bug 带 来 的 压力 和 
篮 座 “至 少 不 会 在 职业 发 展 初期 发 生 ) 。 

这 种 单一 角色 的 机 制 与 现在 Google 采 用 的 机 制 的 本 质 区 别 是 ， 测 试 
的 技能 被 平均 地 分 散 到 各 个 层级 的 开发 工程 师 身 上 ， 而 不 是 集中 于 测试 
开发 工程 师 (SET) 那里 。 这 个 不 同 非常 重要 ， 因 为 它 消除 了 测试 开发 
工程 师 这 个 瓶颈 ， 从 而 能 够 带 来 更 高 的 开发 效率 。 不 仅 如 此 ， 工 程 师 不 
再 有 名 称 上 的 差异 ， 开 发 产品 的 功能 点 和 进行 测试 开发 就 不 再 有 相互 之 
AIPA ABC: 共同 的 角色 ， 共 同 的 团队 ， 为 了 共同 的 产品 而 努力 。 

















5.3 TEN AK 





对 优秀 测试 工程 师 的 需求 之 大 前 所 未 有 。 然 而 ， 我 们 认为 这 种 需求 
即将 达到 顶峰 并 会 迅速 下 降 。 传 统 意义 上 测试 工程 师 进行 的 测试 用 例 的 
撰写 、 执 行 、 回 归 等 工作 ， 它 们 实际 上 已经 有 了 更 为 全 面 而 且 低 成 本 的 
FBX. 

这 种 机 会 很 大 程度 上 源 于 软件 交付 领域 技术 上 的 进步 。 在 过 去 ， 软 
件 每 周 或 每 月 构建 一 次 并 需要 经 历 痛 苗 的 集成 过 程 ， 特 别 需 要 测试 人 员 
能 够 发 现 bug， 并 尽 可 能 地 模仿 最 终 用 户 的 操作 。 产 品 交付 以 后 有 数 百 
万 的 最 终 用 户 使 用 ， 问 题 很 难 被 跟踪 ， 产 品 也 没 办 法 及 时 更 新 ， 因 此 必 
须 在 产品 交付 之 前 发 现 bug。 可 现在 已 经 不 是 这 样 了 。 通 过 互联 网 交付 
软件 ， 意 味 着 我 们 有 能 力 选 择 部 分 用 户 进行 发 布 ， 响 应 这 部 分 用 户 的 反 

， 并 迅速 进行 更 新 。 开 发 者 和 最 终 用 户 之 间 沟 通 合 作 的 障碍 不 复 存 
bug 的 寿命 从 几 个 月 变 成 了 几 分 钟 。 我 们 非常 快速 地 进行 构建 、 交 
付 (给 内 部 试用 者 、 可 信赖 的 测试 者 、 早 期 用 户 或 真实 用 户 〉》、 修 改 、 
重新 迭代 交付 ， 让 很 多 用 户 根本 来 不 及 发 现 缺 陷 。 这 是 一 种 更 好 的 软件 
交付 和 用 户 反 馈 机 制 。 那 些 专职 的 测试 工程 师 团 队 在 这 个 过 程 中 的 位 置 
在 哪儿 ? 相 比 以 前 ， 最 终 用 户 感 受到 的 痛苦 大 大 降低 了 ， 我 们 需要 重新 
合理 地 调整 测试 资源 。 

问题 的 关键 就 在 这 里 。 你 更 希望 用 哪 种 方式 测试 你 的 软件 呢 ? 是 高 
薪 聘 请 探索 式 测试 专家 在 现场 尽力 预测 用 户 实 际 使 用 软件 的 方式 并 期 望 
能 够 发 现 重要 的 bug， 还 是 激励 大 量 的 真实 用 户 发 现 并 报告 实际 的 
bug? 人 允许 真实 用 户 更 早 地 访问 软件 ， 激 发 他 们 报告 问题 的 意愿 ， 变 得 
越 来 越 容 易 。 而 且 ， 通 过 每 日 更 新 或 是 小 时 级 别 的 更 新 ， 带 给 这 些 用 户 






































的 风险 非常 低 。 在 这 种 新 秩序 下 ， 测 试 工 程 师 的 角色 需要 彻底 的 革新 。 

我 们 相信 ， 测 试 工程 会 转型 成 测试 设计 。 少 量 的 测试 设计 师 快 速 地 
规划 出 测试 范围 、 风 险 热 图 和 应 用 程序 的 漫游 路 线 (参见 第 3 革 ) PA 
后 ， 内 部 试用 者 、 可 信赖 的 测试 者 、 早 期 用 户 或 者 众 包 测试 者 提交 反 
馈 ， 由 测试 设计 师 来 评估 履 盖 率 ， 计 算 风 险 影响 ， 确 保 发 现 的 问题 不 断 
减少 ， 并 相应 地 对 测试 活动 进行 调整 。 这 些 测试 设计 师 还 可 以 识别 需要 
专业 技能 的 地 方 ， 比 如 安全 性 、 隐 私 、 性 能 和 探索 式 测试 ， 并 安排 具有 
这 些 技能 的 人 通过 众 包 的 形式 完成 工作 。 还 会 需要 开发 或 购买 工具 来 收 
集 、 分 析 这 些 提 交 上 来 的 数据 ， 但 他 们 的 工作 中 没有 测试 用 例 编写 ， 没 
有 测试 执行 ， 没 有 实际 的 测试 行为 。 好 吧 ,“ 没 有 ”这 个 词 在 这 里 可 能 过 
于 绝对 ， 不 过 可 以 肯定 ， 这 方面 的 工作 是 最 低 限 度 的 。 这 个 工作 需要 的 
是 规划 、 组 织 和 管理 近 于 免费 的 测试 资源 。 

我 们 相信 ， 测 试 工程 师 会 转变 成 像 安 全 工程 师 这 样 的 专家 型 角色 ， 
或 者 他 们 会 变 成 测试 活动 的 宣 理 者 ， 而 那些 具体 的 测试 活动 则 由 其 他 人 
来 完成 。 这 是 一 个 富 于 挑战 的 高 级 角色 ， 需 要 非常 丰富 的 专业 技能 。 这 
个 角色 的 薪资 可 能 远 高 于 现在 的 测试 工程 师 职 位 ， 不 过 与 以 往 相 比 ， 所 
需 的 人 数 也 将 大 大 减少 。 




















5.4 测试 总 监 和 经 理 的 未 来 


TE 和 SET 和 角色 的 这 些 变化 ， 对 测试 总 监 、 经 理 ， 甚 至 副 总 裁 们 意味 
着 怎 样 的 未 来 呢 ? 这 意味 着 这 些 人 的 数量 将 会 大 幅 减少 。 技 术 型 的 主 
管 ， 将 会 更 多 地 转向 成 为 诸如 杰出 工程 师 这 样 的 个 人 角色 。 他 们 将 作为 
思想 领袖 ， 为 维系 松散 的 测试 工程 师 和 人 负责 质量 的 软件 工程 师 的 关系 而 
存在 ， 但 不 会 最 终 为 条 个 特别 项 目的 质量 或 管理 负责 。 测 试 活动 应 该 对 
人 们 具体 工作 的 产品 负责 ， 而 不 是 对 一 个 游离 于 产品 发 布 和 其 余 开 发 流 
程 之 外 、 集 中 管理 的 部 门 负 责 。 
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Google 的 测试 基础 设施 仍然 是 基于 客户 端的 ， 这 多 少 有 些 令 人 意 
外 。 仍 有 大 量 Java 或 Python 编写 的 Selenium 和 WebDriver 的 测试 被 加 入 源 
代码 树 、 构 建 ， 并 通过 Shell 脚 本 部 署 到 大 量 的 专用 虚拟 机 上 。 在 专用 虚 
拟 机 上 ， 通 过 注入 浏览 器 中 运行 的 方式 ， 执 行 这些 基 于 Java 的 测试 逻辑 
代码 。 虽 然 这 样 可 行 ， 但 是 我 们 的 测试 基础 设施 需要 一 次 音 新 ， 因 为 现 
有 的 方案 需要 在 测试 创建 和 执行 上 花费 昂贵 的 人 工 和 机 器 建设 成 本 。 测 
试 基础 设施 会 最 终 整 体 迁 移 到 云端 。 测 试用 例 库 ， 测 试 代码 的 编辑 、 录 
制 和 执行 都 将 在 一 个 网 站 或 通过 浏览 器 插件 完成 。 测 斌 编写、 执行 和 调 
试 需要 使 用 与 被 测 的 应 用 程序 本 身 相 同 的 语言 和 环境 才 最 为 高 效 。 现 在 
Google 和 许多 其 他 的 项 目 大 都 是 Web 应 用 。 对 于 那些 非 Web 应 用 ， 例 如 
原生 Android 或 .OS 应 用 来 说 ， 测 试 将 通过 用 于 人 处理 Web 应 用 的 测试 框 染 
从 Web 端 驱动 ， 再 通过 适 配 吉 进行 适 配 。Native Driver (译注 : Google 
测试 博客 上 关于 Native Driver 的 帖子 : http://google- 
opensource.blogspot.com/ 2011/06/introducing-native-driver.html) Wiz — 
个 好 的 例子 ， 它 遵循 了 这 种 “web 端 优先 一 本 地 端 从 属 ” 的 策略 。 

在 这 种 “快速 试 错 ?的 环境 下 ， 软 件 项 目 和 测试 需要 更 快 地 出 现 和 消 
失 ， 那 种 内 部 的 、 定 制 的 测试 框架 和 专用 的 测试 执行 机 器 将 会 越 来 越 
少 。 测 试 开 发 人 员 雷 要 更 多 地 利用 开源 项 目 并 为 之 页 献 ， 快 速 组 合 、 利 
用 共享 的 云 计算 资源 进行 测试 。Selenium 和 WebDriver 建 立 了 这 种 由 企 
业 发 起 、 社 区 维护 的 基础 设施 开发 模式 。 将 来 会 有 更 多 这 种 项 目 出 现 ， 
将 开放 式 测 试 框架 、bug 和 问题 跟踪 系统 、 源 代码 控制 系统 更 紧密 的 集 
成 。 




















将 所 有 东西 保密 和 私有 化 只 能 获得 想象 中 的 优势 ， 为 了 分 至 测试 数 
据 、 测 试用 例 和 测试 基础 设施 而 放弃 挥 这 些 是 值得 的 。 保 密 和 私有 的 测 
试 基础 设施 只 能 意味 着 昂贵 、 述 绥 ， de 
间 也 不 能 复 用 。 未 来 的 测试 人 员 将 会 尽 可 能 多 地 共 至 代码 、 用 例 和 bug 
数据 ， IRR E 以 及 友 
善 的 用 户 关 系 ， 这 些 比 隐藏 各 种 东西 所 获得 的 想象 中 的 利益 重要 得 多 。 

使 用 这 种 更 加 开放 、 基 于 云 计 算 的 方式 进行 测试 会 更 省 钱 ， 测 试 基 
础 设施 开发 者 也 能 得 到 更 大 的 认可 。 最 重要 的 是 ， 项 目 层 面 的 测试 开发 
人 员 可 以 专注 于 测试 履 盖 ， 而 不 必 关 心 基础 设施 ， 从 而 获得 更 高 的 产品 
质量 和 更 快 的 发 布 周 期 。 








5.6 结论 


我 们 熟知 和 喜爱 的 测试 方式 即将 终结 ， 这 上 听 起 来 难以 接受 。 对 于 那 
些 职业 技能 已 经 定型 的 人 来 说 更 难 接受 。 但 是 ， 毋 庸 置疑 ， 随 着 敏捷 开 
发 、 持 续 构 建 、 早 期 用 户 介 入 、 众 包 测 试 、 在 线 软件 交付 的 不 断 兴 起 ， 
软件 开发 的 问题 也 已 经 彻底 改变 。 继 续 死 守 已 存在 数 十 年 之 久 的 测试 教 
条 无 异 于 刻 舟 求 剑 。 

虽然 并 不 是 每 个 人 都 注意 到 了 这 一 点 ， 但 这 种 转变 在 Google 早 已 发 
生 。 集 中 测试 部 门 中 的 工程 师 、 经 理 和 总 监 正 逐渐 分 散 到 各 个 更 加 关注 
项 目的 团队 和 职责 岗位 上 。 这 种 转变 迫使 他 们 更 加 敏捷 、 更 少 关注 测试 
流程 、 更 多 关注 产品 本 身 。 作 为 Googler， 我 们 比 其 他 许多 公司 更 早 地 
看 到 了 这 个 变化 。 这 可 能 很 快 就 将 成 为 每 个 测试 人 员 都 要 面 对 的 窑 新 现 
实 。 拥 抱 这 些 变化 吧 ， 并 促 其 发 生 ， 做 一 个 与 时 代 同 行 、 与 时 俱 进 的 测 
VA 
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tor A Chrome OS 省 


A.1 Jill A E RUE 


基于 风险 : Chrome OS 需 要 测试 的 方面 相当 庞杂 ， 涵 盖 了 定制 化 浏 
览 器 、 应 用 管理 器 的 用 户 体验 CUXO 、 固 件 、 硬 件 、 网 络 、 用 户 数据 
同步 、 自 动 更 新 ， 以 及 来 自 OEM) 商 的 定制 化 的 物理 硬件 。 要 想 合理 
地 处 理 这 些 测 斌 问题， 必须 采用 基于 风险 的 测试 策略 ， 也 就 是 说 测试 团 
队 将 优先 关注 系统 中 风险 最 高 的 区 域 ， 然 后 按 风 险 次 序 依 次 处 理 。 测 试 
团队 会 严重 依赖 于 开发 团队 全 面 的 单元 测试 和 代码 质量 ， 以 此 确保 整个 
产品 的 质量 基础 。 

自动 化 便 件 测试 组 合 : 由 于 存在 各 种 不 同 的 硬件 环境 和 操作 系统 版 
本 ， 因 此 需要 在 每 次 构建 的 版 本 和 整个 人 硬件 环境 组 合 中 运行 测试 ， 快 速 
发 现 回归 问题 并 辅助 定位 问题 存在 的 具体 软件 、 硬 件 或 环境 配置 维度 。 
(例如 ， 某 个 测试 用 例 可 能 仅 在 HP 硬件 上 的 无 线 网 络 配置 环境 下 版 本 
X 的 网 络 浏览 器 上 会 失败 ) 

文 持 快速 迭代 : Chrome OS 的 发 布 时 间 表 非常 紧张 ， 因 此 尽早 发 现 
bug 并 定位 问题 重 现 条 件 非 常 重 要 。 所 有 的 测试 都 要 能 在 开发 人 员 的 本 
地 工作 机 上 运行 ， 以 减少 bug 进 入 代码 库 的 可 能 性 ， 并 通过 大 规模 的 自 
动 化 测试 用 例 组 合 ， 来 加 速 定位 导致 回归 问题 的 原因 。 

开放 测试 用 例 和 工具 : 考虑 到 ChromiumOS 的 开放 源码 性 质 和 OEM 
合作 厂商 的 质量 认证 ， 测 试 团队 将 努力 保证 测试 工具 、 用 例 、 上 自动 化 代 




















人 码 等 可 被 外 界 共享 和 执行 。 

Chrome OS 的 主要 浏览 器 平台 : Chromed Awl AA PORE 
Chrome OS 作为 主要 关注 的 平台 。Chrome 浏 览 器 在 Chrome OS 中 的 可 测 
试 性 、 上 自动 化 等 与 其 他 平台 相 比 将 被 得 到 更 多 的 关注 。 这 也 反映 出 
Chrome 浏 览 嚣 在 Chrome OS 中 至 关 重 要 的 地 位 。 它 是 Chrome OS 中 唯一 
的 用 户 界 面 ， 整 个 系统 和 人 硬件 环境 都 用 来 支持 它 的 功能 。Chrome OS 中 
Chrome 浏 览 器 的 质量 标准 将 会 更 高 。 

测试 提供 数据 : 测试 团队 的 目标 不 是 、 也 不 可 能 是 保证 质量 。 产 品 
质量 的 高 低 取 决 于 所 有 参与 者 ， 包 括 外 部 OEM 厂商 、 开 源 项 目 等 。 测 
试 团队 的 目标 是 降低 风险 ， 尽 可 能 地 发 现 问题 和 ” bug， 为 大 团队 提供 风 
险 评 估 和 度量 指标 。 测 试 、 开 发 、 项 目 经 理 和 其 他 第 三 方 都 对 Chrome 
OS 的 质量 有 很 大 的 发 言 权 和 影响 力 。 

可 测试 性 和 乘 数 效应 : 对 Google 应 用 团队 、 外 部 的 第 三 方 团队 、 
甚至 是 内 部 团队 来 说 ， 可 测试 性 在 过 去 一 直 是 一 个 问题 。 测 试 团 队 将 联 
合 Accessibility、Android 和 WebDriver 团 队 来 增进 可 测试 性 ， 让 Chrome 
OS 中 的 Chrome 浏 览 器 能 被 正式 文 持 。 这 将 提高 Google 应 用 团队 内 部 的 
自动 化 效率 ， 也 让 Chrome 成 为 测试 其 他 第 三 方 Web 页 面 应 用 的 理想 平 
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A.2 风险 分 


测试 团队 将 推动 功能 性 风险 分 析 ， 以 达成 如 下 目标 。 

保证 产品 的 质量 风险 被 周知 。 

保证 测试 团队 始终 仅 关 注 最 高 投资 回报 率 ROD 的 任务 。 

保证 存在 一 个 质量 和 数据 评估 框架 ， 能 够 随 着 产品 的 演进 和 新 数据 
的 引入 ， 对 新 的 质量 和 风险 数据 进行 评估 。 

风险 分 析 过 程 是 将 所 有 已 知 产 品 特性 和 能 力 简 单 罗 列 ， 然 后 测试 团 
队 根 据 每 个 方面 的 出 现 频 次 和 失效 可 能 性 ， 以 及 失效 产生 后 果 (对 用 户 
和 业务 ) 的 严重 程度 ， 评 估 每 个 方面 的 绝对 内 在 风险 。 然 后 ， 把 已 经 存 
在 的 能 够 降低 这 些 风 险 的 策略 《如 现 有 的 测试 用 例 、 目 动 化 测试 、 用 户 
试用 测试 、OEM 测试 等 ) 从 相应 的 已 知 风险 中 扣除 。 把 所 有 组 件 根 据 
剩余 风险 进行 排序 ， 然 后 通过 开发 测试 用 例 、 目 动 化 和 流程 改进 等 措施 
来 应 对 。 

关键 问题 是 要 知道 产品 的 风险 集中 在 哪里 ， 并 总 能 善 用 手中 的 资源 
去 降低 这 些 风险 。 











对 每 次 持续 构建 的 版 本 在 开发 人 员 的 单元 测试 以 外 ， 还 将 通过 构建 
机 器 人 Buildbot) 执行 以 下 测试 。 

冒 烟 测试 (P0 自 动 化 ) 。 

性 能 测试 。 





每 天 都 会 对 持续 构建 的 最 新 可 测试 版 本 (LKG) 执行 以 下 测试 








一 系列 功能 验收 测试 的 手工 执行 “可 以 限定 每 天 在 一 种 类 型 的 硬件 
环境 中 执行 ) 。 

功能 回归 测试 自动 执行 。 

在 每 日 构建 版 本 上 ， 深 动 式 地 持续 执行 Web 应 用 程序 的 测试 〈 包 
括 目 动 和 手工 测试 〉。 

深 动 式 执行 压力 测试 、 可 菲 性 测试 、 稳 定性 测试 等 。 在 每 日 构建 版 
本 上 反复 执行 这 些 测试 ， 直 到 没有 新 问题 出 现 ， 然 后 转 为 每 周 执 行 。 

持续 地 进行 手工 探索 式 测试 和 漫游 式 测 试 。 








A5% 测试 


每 个 发 布 通 道 的 “候选 发 布 ”版 本 。 
站 点 兼容 性 ;Chrome 浏览 器 测试 团队 负责 对 前 100 名 站 点 
CTop100) 在 Chrome OS 上 进行 验证 。 
场景 验证 : 对 Chrome OS 对 外 展示 或 者 回合 作 伙 伴 发 布 的 示例 性 场 
景 〈 可 能 最 多 有 两 到 三 个 示例 ) 进行 验证 。 
PO bug 验 证 : 验证 所 有 已 被 修正 的 优先 级 为 P0 的 bug。 验 证 80% 的 自 
上 次 发 布 版 本 以 来 记录 的 优先 级 为 P1 的 bug。 
全 面 压力 和 稳定 性 测试 : 执行 一 次 压力 和 稳定 性 测试 。 
Chrome OS 手工 测试 用 例 : 执行 所 有 的 Chrome ”OS 手工 测试 用 例 
《可 以 分 派 给 不 同 的 测试 人 员 和 不 同 的 硬件 环境 ) 。 




















手工 测试 非 第 重要 ， 特 别 是 在 项 目的 早期 用 户 界面 和 其 他 功能 特性 
经 常 变化 、 可 测试 性 和 自动 化 开发 工作 仍 在 进行 的 时 候 ， 手 工 测 试 有 不 
可 蔡 代 的 作用 。 手 工 测 试 的 重要 性 还 体现 在 ， 由 于 Chrome OS 的 核心 价 
值 在 于 其 简单 性 ， 用 户 界面 和 体验 必须 非常 直观 流畅 。 目 前 ， 机 器 还 不 
能 做 这 些 方 面 的 测试 。 

目 动 化 测试 是 项 目 取 得 长 期 成 功 的 关键 ， 也 是 测试 团队 蜗 效 检验 回 
归 间 题 的 关键 。 浏 览 占 目 动 化 已 经 实现 ， 因 此 很 多 局 优 先 级 和 高 回报 率 
的 手工 测试 用 例 也 被 自动 化 了 。 











开发 团队 相对 来 说 大 一 些 ， 而 且 更 了 解 组 件 内 部 机 制 和 代码 级 别 的 
实现 细 市 。 我 们 需要 开发 人 员 能 够 提供 丰富 的 单元 测试 集 和 通过 
Anutotest 加 入 重要 的 系统 测试 用 例 。 

测试 团队 会 更 多 地 关注 端 到 端 end-to-end) 的 测试 和 集成 测试 场 

， 痢 章 于 骏 露 给 最 终 用 户 的 功能 特性 、 跨 组 件 的 交互 操作 、 稳 定性 和 
D A 





A.8 发 布 通 道 


我 们 应 该 学 习 Chrome 浏览 器 团队 使 用 不 同 的 发 布 “通道 ”的 成 功 经 
验 ， 根 据 对 痛 苗 的 容忍 程度 和 进行 反馈 的 意愿 来 区 分 用 户 群 体 。 这 些 发 
布 通道 根据 对 质量 逐步 严格 的 保证 级 别 来 进行 维护 。 这 种 机 制 模仿 了 
在 “google.com2” 的 实验 性 属性 ， 人 允许 在 大 量 部 署 前 在 真实 环境 中 进行 某 
种 程度 的 试验 ， 降 低 了 整个 产品 的 风险 。 





A.9 用 户 输 


用 户 输 入 对 产品 质量 相当 关键 。 你 需要 帮助 用 户 更 便捷 地 提供 可 操 
作 的 反馈 意见 ， 并 能 管理 这 些 数据 。 

GoogleFeedback 扩 展 : 这 个 扩展 程序 允许 用 户 在 任意 URL 页 面 上 通 
过 鼠标 点 击 提供 反馈 意见 。 它 还 提供 了 聚合 这 些 反 人 馈 信 息 和 分 析 的 显示 
面板 。 测 试 团队 将 帮助 支持 GoogleFeedback 工 具 集 成 到 Chrome OS， 扩 
展 它 的 报表 部 分 并 合并 到 Chrome OS 的 用 户 界面 中 。 

己 知 bug 扩 展 /平视 显示 器 : 与 项 目 相 关 的 可 信任 用 户 ， 可 以 很 方便 
地 在 Chrome OS 中 记录 所 发 现 的 bug， 也 可 以 在 Chrome 浏 览 器 中 直接 看 
到 已 知 bug。 今 后 将 发 展 更 为 通用 的 “平视 显示 器 CHUD) ”来 显示 项 目 
和 质量 数据 。 

努力 文 持 对 所 有 Googler 开 放 使 用 ， 包 括 文 持 非 标准 化 的 硬件 环 
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A.10 测试 用 例 库 


手工 测试 用 例 : 所 有 的 手工 测试 用 例 都 被 存储 在 TestScribe 中 。 以 
后 会 在 “code.google.com” 维 护 一 套 测 试用 例 集 。 

自动 化 测试 用 例 : 所 有 的 自动 化 测试 用 例 都 被 存储 在 Autotest 的 树 
形 结构 中 。 所 有 的 用 例 都 包含 版 本 信息 ， 可 共享 ， 而 且 与 被 测 代 人 码 放 在 
一 起 。 





A.11 JI TA DC T 





为 了 满足 快速 处 理 大 量 测试 数据 的 需求 ， 测 试 团队 投入 开发 了 一 个 
专用 的 质量 度量 数据 仪表 盘 。 这 个 仪表 盘 提供 了 宏观 的 质量 评估 数据 
绿灯 和 红 灯 ) ， 聚 合 包 括 手工 测试 和 目 动 化 测试 在 内 的 执行 结果 ， 而 
且 人 允许 对 失败 信息 进行 网 下 钻 取 。 








A.12 fet 


文 持 Chrome ”OS 的 虚拟 化 镜像 非常 重要 ， 尤 其 是 在 项 目的 初始 阶 
段 。 这 使 我 们 降低 了 对 物理 硬件 的 依赖 ， 加 速 镜像 的 创建 ， 文 持 在 
Selenium 和 WebDriver 测 试 机 群 中 完成 回归 测试 ， 并 支持 直接 在 工作 站 
上 进行 Chrome OS 的 开发 和 测试 。 





A.13 性 能 


性 能 是 Chrome OS 的 一 个 核心 特性 ， 因 此 完成 性 能 需求 是 一 个 涉及 
到 各 个 开发 团队 的 任务 。 测 试 团队 的 目标 是 辅助 性 能 指标 测量 的 执行 、 
报告 和 趋势 总 结 ， 而 不 是 直接 开发 性 能 测试 。 





测试 团队 负责 创建 长 时 运行 Cong-running) 测试 用 例 ， 并 在 物理 
硬件 的 实验 环境 里 执行 这 些 测 试 。 通 过 底层 平台 进行 故障 注入 。 


A.15 测试 执行 框架 (Autotest) 


测试 和 开发 团队 已 经 达成 一 致 ， 使 用 Autotest 作 为 核心 自动 化 测试 
框架 。Autotest 是 开源 项 目 ， 并 已 在 ”Linux 社区 和 多 个 内 部 项 目 被 验 
证 。Autotest 还 文 持 本 地 和 分 布 式 运行 。Anutotest 封 装 了 其 他 功能 测试 工 
县 〈 如 WebDriver 和 其 他 第 三 方 测试 工具 ) ， 因 此 测试 执行 、 分 发 和 报 
告 的 调用 接口 是 统一 的 。 

需要 指出 的 是 ， 核 心 测试 工具 团队 已 经 为 Autotest 加 入 了 对 
Windows 和 Mac 的 支持 。 


A.16 OEM) T5 


OEM 上 广 商 在 Chrome OS 的 构建 中 扮演 了 关键 角色 。 测 试 和 开发 团 
队 共 同 努 力 为 OEMJ 商 发 布 相关 的 手册 和 上 自动 化 测试 用 例 ，OEMJ Tij 
负 贡 检测 构建 版 本 和 便 件 的 质量 。 测 试 团 队 还 会 和 顶级 OEM 厂商 密切 
合作 ， 在 每 日 测试 中 赛 括 各 种 不 同 的 硬件 ， 更 早 发 现 特定 OEMJ) 商 相 
关 的 问题 和 功能 回归 问题 。 


A.17 便 件 实验 田 


硬件 实验 田 被 构建 来 支持 一 系列 广泛 的 网 络 笔记 本 电脑 和 一 些 具备 
通用 服务 组 件 的 设备 。 这 些 通 用 服务 组 件 包 括 电 源 、 网 络 〈 有 线 和 无 
线 ) 、 健 康 指示 面板 、 电 源 管理 ， 以 及 一 些 直 接 用 于 测试 的 特殊 基础 设 
施 ， 如 测试 无 线 网 络 。 这 些 实验 田 机 器 主要 通过 HIVE 架构 来 管理 。 





测试 团队 建立 了 一 套 由 一 系列 网 络 笔记 本 电脑 组 成 的 集群 ， 负 责 测 
试 执行 和 报告 ,涵盖 了 大 量 人 硬件 和 软件 的 组 合 。 这 个 集群 分 布 在 
MTV., KIR, HYD 等 多 个 地 理 位 置 ， 为 各 地 的 实验 室 提 供 本 地 访问 ， 
并 利用 时 差 间 隔 实现 不 间断 的 测试 执行 和 调试 。 








Chrome OS 系统 中 的 浏览 器 ， 是 带 有 Chrome OS 特殊 界面 和 功能 特 
性 的 Linux 版 本 的 Chrome 浏 览 器 。 它 与 Chrome 浏 览 器 的 核心 版 本 相 比 ， 
主要 的 展现 引擎 和 功能 特性 都 是 一 样 的 ， 但 在 某 些 方面 还 是 有 些 明 显 的 
不 同 ( 如 固定 标签 页 、 下 载 管理 器 、 应 用 启动 器、 平台 控制 界面 、 无 线 
网 络 等 ) 。 

Chrome OS 是 Chrome 浏 览 器 核心 版 本 的 主要 测试 平台 手工 测试 和 
自动 测试 ) 。 

Chrome 浏 览 嚣 核心 版 本 团队 决定 将 浏览 器 的 哪个 版 本 集成 到 
Chrome OS 系统 中 (基于 质量 和 Chrome OS 的 功能 特性 〉。 

对 每 个 Chrome OS 的 候选 发 布 版 本 ， 浏 览 器 核心 版 本 团队 会 在 
Chrome ”OS 上 执行 常规 的 站 点 (应 用 )〉 组 合 兼 容 性 测试 (包括 300 个 常 
用 站 点 ， 目 前 只 有 对 在 线 站 点 的 手工 测试 ) 。 

站 点 (应用) 的 兼容 性 测试 已 经 通过 WebDriver 部 分 自动 化 并 集成 
进 buildbot 自 动 构建 或 者 常规 执行 ， 可 以 对 主要 的 Chrome OS 特定 回归 问 
题 发 出 “早期 警告 ”信和 号 。 

一 组 针对 Chrome OS 浏览 器 的 功能 特性 和 应 用 管理 器 的 手工 测试 ， 
由 一 个 测试 外 包 团 队 开发 和 执行 。 

在 API 实 现 之 后 ， 外 包 团 队 负 和 贡 上 自动 化 Chrome OS 的 手工 测试 集 。 

Chrome OS Chromebot 应 该 拥有 Linux 和 Chrome OS 不 同 的 版 本 ， 与 
Chrome OS 的 特定 功能 一 起 运行 而 不 仅仅 是 web 应 用 。 

手工 探索 式 测试 和 漫游 测试 ， 应 该 在 发 现 简 洁 性 、 功 能 性 和 易 用 性 
等 面 同 最 终 用 户 的 问题 上 体现 价值 。 





























A.20 Dil "5 gS En] np ll v E 


浏览 器 为 用 户 展现 了 很 多 Chrome OS 的 核心 界面 和 功能 。 很 多 浏览 
器 的 界面 是 不 可 测试 的 ， 或 者 只 能 通过 浏览 器 以 外 更 底层 的 IPC 自 动 代 
理 接口 进行 测试 。 在 Chrome OS 中 ， 我 们 致力 于 统一 Web MH, Chrome 
用 户 界 面 和 功能 特性 的 测试 ， 并 且 能 够 触发 底层 系统 测试 。 我 们 还 想 让 
Chrome 成 为 对 于 Web 应 用 来 说 最 可 测试 的 浏览 右 ， 茧 励 外 部 Web 开 发 团 
队 首 先 在 Chrome 平 台 上 进行 测试 。 为 此 ， 我 们 构建 了 下 面 的 测试 设 
施 。 

将 Selenium 和 WebDriver 移 植 到 Chrome OS: 这 是 当前 最 核心 的 
Web 应 用 测试 框架 。Chrome OS 和 Chrome 浏 览 器 测试 团队 ， 很 有 可 能 肩 
负 起 WebDriver 的 Chrome OS 相关 功能 的 实现 ， 并 进一步 为 应 用 团队 和 
外 部 测试 人 员 提 供 稳 定 、 可 测试 的 接口 。 

把 Chrome OS 的 界面 和 功能 通过 JavaScript DOM 暴 露出 来 : 这 样 
就 也 可 以 通过 WebDriver 来 驱动 Chrome OS 的 界面 和 功能 测试 了 。 这 部 
分 功能 通过 与 ChromeView 里 提供 的 shutdown、sleep 等 辅助 功能 一 样 的 
方法 暴露 出 来 。 

高 阶 脚本 : 与 WebDriver 开发 人 员 合作 ， 将 基本 的 WebDriver API 
扩展 成 为 纯 JavaScript， 并 最 终 成 为 更 高 阶 的 录制 /回放 和 参数 化 的 脚本 

(如 “Google 搜 索 < 关 键 词 >”) 。 这 加 速 了 内 部 和 外 部 的 测试 开发 ， 因 为 
如 果 用 WebDriver 开 发 将 需要 相当 大 量 的 时 间 ， 用 于 获取 元 素 以 及 处 理 
当 界 面 快速 变化 时 的 维护 问题 。 








A.21 fii fL 


Chrome OS 有 一 整套 的 人 硬件 需求 和 来 自 众 多 OEMJ 商 的 变化 。 在 
主要 的 OEM 太 商 平 台 上 需要 进行 特定 的 测试 ， 以 保证 物理 硬件 和 
Chrome OS 系统 的 紧密 集成 。 具 体 来 说 ， 这 些 测试 包括 以 下 这 些 。 

电源 管理 : 外 接 电 源 和 电池 电源 循环 操作 ， 电 源 失 效 ， 硬 件 组 件 的 
电源 管理 ， 等 等 。 

硬件 故障 : Chrome OS 如 何 检测 人 硬件 故障 以 及 如 何 恢复 ? 


A.22 时 间 线 


2009 年 Q4 

定义 手工 验收 测试 ， 并 在 持续 构建 版 本 上 执行 。 

定义 基础 发 布 检验 测试 ， 并 对 每 个 主要 发 布 版 本 执行 。 

建立 基础 硬件 实验 环境 。 

完成 风险 分 析 。 

持续 构建 版 本 的 端 到 端 自动 化 测试 ， 在 网 络 笔记 本 电脑 的 物理 实验 
环境 中 运行 。 

基于 Hive 的 虚拟 化 和 物理 机 镜像 文 持 。 

移植 WebDriver 和 Selenium 到 Chrome OS. 

重要 Web 应 用 的 部 分 自动 化 测试 。 

决定 实现 团队 使 用 的 测试 框架 。 

推动 GoogleFeedback 与 Chrome OS 的 集成 。 

构建 核心 测试 团队 、 人 员 和 流程 。 

自动 化 语音 /视频 测试 。 

完成 基于 风险 的 测试 计划 。 

界面 手工 测试 计划 。 

2010 年 Q1 

质量 计 分 板 。 

自动 化 更 新 测试 。 

在 实验 室 环境 文 持 自动 性 能 测试 。 

在 HYD、KIR 和 MTV 都 建立 实验 室 环境 并 开始 执行 测试 。 

Linux 和 Chrome OS 版 本 的 Chromebot。 














主要 Chrome OS 功能 和 界面 的 可 测试 性 支持 。 
Chrome OS 功能 回归 自动 化 测试 集 。 

将 Chrome OS 加 入 Web 应 用 的 Selenium 测 试 机 群 。 
文 持 浏览 器 和 用 户 界 面 测试 的 录制 回放 的 原型 。 
ChromeSync 的 端 到 端 测试 用 例 的 自动 化 

稳定 性 和 故障 注入 测试 。 


特定 网 络 测试 。 

能 令 James 满 意 的 日 向 的 探索 式 手工 测试 和 漫游 。 
2010 年 Q2 

通过 测试 和 自动 化 降低 风险 。 

2010 年 Q3 

通过 测试 和 自动 化 降低 风险 。 

2010 年 Q4 


所 有 风险 得 到 缓解 ， 所 有 可 目 动 化 的 都 完成 自动化， 没有 新 的 问题 
发 现 ， 没 有 新 的 界面 和 功能 变化 。 测 试 团队 放松 下 来 。 


A.23 X E E] UU A S 


Chrome OS 平 台 的 测试 技术 负责 人 。 

Chrome OS 浏览 右 的 测试 技术 负责 

基础 浏览 器 自动 化 测试 技术 负责 人 。 

计 分 板 和 度量 指标 。 

手工 验收 测试 的 定义 和 执行 。 

手工 回归 测试 的 定义 和 执行 〈 包 括 相 应 的 外 包 团 队 ) 。 

浏览 器 应 用 兼容 测试 ， 基 础 用 户 界 面 和 功能 (手工 ) 测试 以 及 测试 
外 包 。 

音频 和 视频 。 

稳定 性 /故障 注入 。 

无 障碍 测试 。 

硬件 实验 环境 : KIR、HYD 和 MTV。 

自动 化 测试 机 群 。 

人 硬件 验收 测试 。 

总 体 指导 和 资金 支持 。 


A.24 


风险 分 析 。 

硬件 实验 环境 。 

端 到 端 自动 化 测试 机 群 。 

虚拟 化 和 物理 机 管理 基础 设施 。 
平视 显示 器 (CHUD) 。 

手工 验收 测试 。 

测试 结果 显示 板 。 
OEM 便 件 认证 测试 。 

硬件 使 用 状况 和 健康 状况 显示 板 。 
Chrome OS 手工 /功能 测试 计划 。 


YL 


附录 B Chrome H 35 73$ Wl 1 


Chrome 的 漫游 测试 包括 以 下 几 项 。 
购物 漫游 。 

学 生 漫 游 。 

际 长 途 电话 漫游 。 

地 标 漫 游 。 

通宵 漫游 。 

公务 漫游 。 

危险 地 还 漫游 。 

个 性 化 漫游 。 


B.1 购物 漫游 


描述 : 购物 是 很 多 人 喜欢 的 消 起 方式， 到 一 处 新 的 旅游 地 点 ， 如 采 
能 发 现 一 些 可 以 买 的 新 奇 陪 品 也 是 一 大 乐事 。 对 某 些 城市 来 说， 奢华 的 
购物 几乎 成 为 其 最 吸引 人 的 地 方 。 香 港 就 拥有 一 些 世 界 上 最 豪华 的 购物 
中 心 ， 其 中 有 超过 800 多 家 店铺 。 

在 软件 领域 ， 丙 业 行 为 层 见 不 鲜 。 虽 然 不 是 所 有 软件 应 用 都 让 人 们 
掏 钱 ， 但 还 是 有 相当 一 部 分 应 用 会 这 么 做 。 我 们 正 进入 一 个 充满 了 各 种 
可 供 下 载 的 时 代 ， 这 种 现象 更 是 常态 。 购 物 漫游 测试 邀请 用 户 使 用 被 测 
软件 ， 在 各 种 可 能 的 情况 下 进行 消费 ， 检 验 用 户 可 以 流畅 地 、 有 效 地 进 
行商 业 体 验 。 

MH: Internet 上 有 近乎 无 尽 的 消费 方式 ， 而 Chrome 浏 览 器 是 
Internet 的 入 口 。 虽 然 不 可 能 测试 所 有 的 商家 ， 但 是 检验 在 Google 商 店 里 
的 大 多 数 零售 商 可 以 被 访问 ， 还 不 成 问题 。 以 下 是 根据 访问 流量 统计 的 
一 系列 常用 在 线 销 售 网 站 。 


eBa(www.eBay.com). 

















Amazon (www.amazon.com). 
Sears (www.sears.com). 

Staples (www.staples.com). 
OfficeMax (www.officemax.com). 
Macy’s (www.macys.com). 
NewEgg (www.newegg.com). 


Best Bu(www.bestbuy.com). 


B.2 学 


描述 : 很 多 学 生 把 握 机 会 出 国学 习 ， 在 新 地 点 生活 的 同时 ， 他 们 会 
利用 当地 的 各 种 资源 增进 他 们 的 专业 知识 。 这 包括 了 对 外 来 人 员 开 放 的 
所 有 资源 ， 如 图 书馆 、 档 案 馆 和 博物 馆 。 

类 似 的 ， 在 软件 领域 ,很 多 人 尝试 使 用 新 技术 进行 研究 ， 增 进 他 们 
对 某 个 特定 领域 的 理解 。 这 个 漫游 测试 束 是 喜 励 用 户 做 这 样 的 事 ， 充 分 
利用 和 测试 软件 的 各 种 功能 来 帮助 达到 获取 和 组 织 信息 的 目的 。 

应 用 : 测试 Chrome 浏览 器 能 多 好 地 从 各 种 不 同 的 信息 源 收集 和 组 
织 数据 。 例 如 ， 用 户 能 从 多 家 站 点 获取 信息 并 把 它们 存储 在 云端 的 文档 
上 吗 ? 离线 内 容 能 被 成 功 的 上 传 和 使 用 吗 ? 

建议 的 测试 方面 

Chrome 的 学 生 漫游 测试 包括 以 下 几 项 。 

复制 粘贴 : 各 种 不 同类 型 的 数据 能 通过 剪贴 板 传递 吗 ? 

把 离线 数据 移动 到 云端 Web 页面、 图像、 文字 等 。 

容量 : 同时 在 不 同窗 口 打开 多 份 文档 。 

传输 : 在 标签 页 和 窗口 键 移 动 数据 ， 以 及 在 不 同类 型 的 窗口 间 CIE 
党 的 和 匿名 访问 窗口 ) 移动 数据 。 

















Bae KITEEN FAS i xe — aes 与 国际 长 途 话 务 
交道 ， 处 理 货币 、 信 用 卡 等 问题 的 时 候 可 能 会 遇 到 一 些 非常 有 趣 的 


在 软件 世界 ， 用 户 可 能 希望 使 用 某 些 相同 的 功能 〈 家 里 人 ) ， 但 是 

要 从 不 同 的 平台 上 使 用 ， 或 者 有 不 同 的 权限 ， 不 同 的 设置 。 这 个 漫游 测 

试 天 注 于 保证 用 户 无 论 从 哪里 操作 ， 都 能 够 获得 流畅 可 靠 的 体验 。 
MH: 在 不 同 的 平台 (Windows, Mac, Linux) 上 ， 使 用 操作 系统 

中 不 同 的 网 络 连接 设置 ， 通 过 Chrome 去 浏览 常用 的 站 点 ， 使 用 常用 的 

功能 

建议 的 测试 方面 

Chrome 的 国际 长 途 电话 漫游 包括 以 下 几 项 。 

操作 系统 : Windows、Mac 和 Linux。 

权限 级 别 : 高 可 信和 度 和 低 可 信 度 。 

语言 : 复杂 的 语言 和 从 右 到 左 书 写 的 语言 。 

网 络 选项 : 代理 服务 器 、 无 线 网 络 、 有 线 局 域 网 、 防 火 墙 。 





B.4 地 标 漫 游 








描述 : 这 个 过 程 很 简单 。 朝 着 你 想 去 的 方 同 ， 使 用 罗盘 定位 一 个 地 
标 〈 一 柠 树 、 兰 石 、 巧 崖 ， 等 等 ) ， 前 进 到 那个 地 标 ， 然 后 找到 下 一 个 
地 标 ， 然 后 如 此 继续 。 只 要 这 些 地 标 都 在 一 个 方向 上 ， 你 就 能 通过 成 密 
的 肯塔基 森林 。 探 索 式 测试 人 员 的 地 标 漫游 测试 是 类 似 的 ， 我 们 选取 标 
志 ， 然 后 顺 着 标志 执行 ， 我 们 就 能 罕 过 森林 。 

应 用 : 在 Chrome 中 ， 这 个 漫游 测试 要 看 看 用 户 能 不 能 从 一 个 地 标 
转移 到 男 一 个 地 标 。 验 证 用 户 可 以 到 达 各 个 地 标 ， 如 不 同 的 浏览 器 窗 
口 、 打 开 附件 、 设 置 等 。 建 议 的 测试 方面 

Chrome 的 地 标 漫 游 包括 以 下 几 个 方面 。 

浏览 器 窗口 : 这 是 用 于 浏览 web 的 浏览 器 主 窗口 。 

隐 喘 浏览 窗口 : 隐身 窗口 用 于 不 被 记录 的 浏览 ， 窗 口 左上 角 标 志 性 
的 间谍 人 形 图 标 会 提醒 用 户 正 处 于 隐 吴 窗口 。 

紧凑 浏览 工具 条 : 这 个 浏览 器 窗口 可 以 从 采 单 中 获得 ; 在 窗口 的 标 
题 栏 中 有 一 个 搜索 框 。 

TREH: 下 载 管理 器 列表 显示 用 户 下 载 的 内 容 。 

书签 管理 器 : 书签 管理 器 是 一 个 完整 的 窗口 ， 用 于 显示 和 局 动用 户 
的 书签 。 

开发 者 工具 : 这 些 工具 包括 任务 管理 器 、JavaScript 控 制 台 等 。 

WE: 这 些 设置 在 选择 窗口 右上 角 的 菜单 选项 时 触发 。 

主题 页 : 用 户 可 以 通过 这 个 页 面 设置 Chrome OS 的 个 性 化 外 观 。 


























B.5 通 富 漫游 


描述 : 你 能 走 多 远 ? 通宵 漫游 要 求 游客 挑战 自己 的 耐力 ， 人 
从 一 个 景点 转战 另 一 个 景点 ， 中 间 没 有 或 仅 有 极 短暂 的 休 乱 时 间 。 这 样 
的 观光 方式 是 对 体格 的 考验 。 你 能 歼 过 整个 通宵 吗 ? 

在 软件 领域 ， 这 种 漫游 测试 检验 被 测 产品 在 长 时 间 连 续 使 用 的 情况 

能 文 持 多 久 。 这 个 过 程 的 关键 是 让 用 户 持 续 长 时 间 的 使 用 而 不 试图 关 
闭 任何 东西 。 这 种 漫游 测试 可 以 发 现 那 些 只 有 在 使 用 了 很 长 一 段 时 间 以 
后 才 会 出 现 的 问题 。 

应 用 (Chrome) : de 安装 扩展 程序 ， 变 更 主题 ， 
在 同一 个 会 话 中 不 断 浏览 网 页 ， 持 续 尽 可 能 长 的 时 间 。 即 使 是 不 再 使 用 
fs ee paid ica 不 断 打 开 更 多 的 内 容 。 如 果 这 
个 漫游 测试 持续 几 天 ， 那 就 在 夜间 保持 打开 Chrome， 到 第 二 天 继续 测 
ue 

建议 的 测试 方面 

Chrome 的 通宵 漫游 测试 包括 以 下 几 项 。 

标签 页 和 窗口 : 开局 大 量 的 标签 页 和 和 窗口。 

扩展 程序 : 安装 大 量 的 浏览 器 扩展 程序 并 让 它们 保持 运行 。 

持续 不 断 : 长 时 间 保 持 所 有 的 东西 在 打开 状态 。 





























B.6 公务 漫游 测试 


描述 : 有 些 人 旅行 是 为 了 愉悦 ， 而 有 些 人 则 是 为 了 工作 。 这 种 游览 


考察 旅行 者 ， 在 新 目的 地 是 否 能 方便 地 完成 所 需 工作 。 有 没有 本 地 供应 
商 ? 有 哪些 当地 风俗 需要 遵从 ? 





在 软件 领域 ， 这 种 漫游 测试 考察 用 户 是 否 能 方便 地 利用 被 测 软件 提 


供 的 工具 进行 开发 。 与 当地 供应 商 和 当地 风俗 相对 应 ， 用 户 可 以 看 看 被 
测 应 用 提供 了 多 少 工具 ， 以 及 能 够 多 方便 地 导入 和 导出 内 容 。 


MH: Chrome 提 供 了 相当 多 的 工具 供 JavaScript 开 发 人 员 和 Web 开 


发 人 员 使 用 ， 用 以 测试 和 运行 他 们 的 在 线 内 容 。 使 用 这 种 漫游 测试 检验 
各 种 工具 ， 生 成 示例 脚本 和 测试 在 线 内 容 。 


Chrome 里 的 工具 

Chrome 的 公务 漫游 测试 包括 以 下 几 项 。 

开发 人 员工 具 : 观察 页 面 元 素 、 资 源 、 脚 本， 启用 资源 跟踪 。 
JavaScript 控 制 台 : JavaScript 控 制 台 是 否 运行 正常 ? 

查看 源 代码 : 通过 代码 彩色 显示 和 其 他 帮助 工具 ， 是 否 便于 阅读 代 














R5, 


是 否 便 于 找到 相关 代码 的 片段 ? 
任务 管理 器 : 进程 是 否 被 正确 显示 ， 是 否 能 方便 的 看 到 网 页 占用 了 





多 少 资源 ? 


B.7 5 Ae EL pe 
e. 





描述 : “每 个 城市 都 有 一 些 和 危险 地 带 ， 观 光 者 都 会 谨慎 地 避 开 。 软 
件 中 也 存在 危险 地 带 一 一 那些 集中 产生 bug 的 代码 。” 

应 用 :Chrome 的 重点 是 提供 快速 、 简 洁 的 Web 浏览 体验 ， 但 是 在 富 
内 容 上 可 能 会 有 问题 。 当 Chrome 初 次 发 布 的 时 候 ， 有 报告 说 连 YouTube 
上 的 视频 都 不 能 正确 播放 。 昌 然 现 在 对 这 些 问 题 的 处 理 已 经 有 了 明显 的 
改善 ， 但 在 富 内 容 方面 仍然 有 不 小 的 挑战 。 

Chrome OS 中 的 危险 地 带 漫游 测 试 

Chrome 的 危险 地 带 漫游 测试 包括 以 下 几 项 。 

在 线 视 频 : Hulu、YouTube、ABC、NBC、 全 屏 模 式 ， 以 及 高 分 辨 








Flash 内 容 : 游戏 、 广 告 及 演讲 稿 。 

扩展 程序 ;室内 容 的 扩展 程序 。 

Java applet: 验证 Java applet 能 成 功 运行 。Yahool! 游戏 就 是 一 个 
Java applet 还 很 流行 的 例子 。 

03D: 验证 用 Google 上 自己 的 O3D 编 写 的 内 容 。 例 如 ，Gmail 中 的 视 
AM FEL aL HOD. 

多 实例 : ZANTE IRIS s UR DU] V, B. STIS PS mm PESCA e 














B.8 个 性 化 漫游 


描述 : 个 性 化 观光 让 游客 在 旅途 中 最 大 限度 地 获得 独特 的 个 人 体 
验 。 这 可 能 包括 各 个 方面 ， 从 春 镜 到 租 的 车 、 雇 的 导游 ， 甚 至 到 光临 的 
服 疾 小 店 。 软 件 领 域 里 ， 这 种 漫游 让 用 户 探 寻 各 种 可 能 的 方式 来 进行 定 
制 ， 把 软件 个 性 化 ， 让 用 户 体验 到 量 身 定做 的 感觉 。 

MA: 尝试 Chrome 各 种 不 同 的 定制 方式 ， 通 过 修改 使 用 的 主题 、 
扩展 程序 、 书 签 、 设 置 、 快 捷 键 和 用 户 概要 等 来 获得 特定 的 用 户 体验 。 

定制 Chrome 的 方式 

Chrome 中 的 个 性 化 漫游 测试 包括 以 下 几 项 。 

主题 : 使 用 主题 定制 Chrome OS 的 外 观 。 

扩展 程序 : 下 载 并 安装 一 些 Chrome 的 扩展 程序 ， 来 扩展 功能 和 改 
变 外 观 。 

Chrome 设 置 : 通过 改变 Chrome 的 设置 ， 来 获得 不 同 的 用 户 体 验 。 

用 户 概 要 隔离 : 验证 一 个 用 户 概 要 中 定义 的 偏好 选项 对 其 他 账号 没 








{RC 有 关 工 具 和 代码 的 博客 文章 


这 个 附录 收录 了 一 些 Google 测 试 博客 上 发 表 过 的 文章 。 


C.1 BITE 从 bug 和 元 余 的 工 & Ht 出 3 


2011 年 12 月 12 日 星期 三 上 午 9:21 

http://googletesting.blogspot.com/2011/10/take-bite-out-of-bugs- 
andredundant.html 

作者 : Joe Allan 

在 Web 变 得 越 来 越 精简 的 时 代 ， 为 网 站 提交 bug 的 过 程 却 还 停留 在 
繁重 的 手工 方式 。 发 现 问题 ， 然 后 切换 到 缺陷 管理 系统 窗口 ， 填 写 问题 
描述 ， 再 切换 回 浏览 器 ， 截 取 屏 幕 快 照 ， 然 后 粘贴 回 缺 陷 报告 ， 之 后 再 
AN — Ee fi fa. ESE RII: 从 提交 bug 的 工具 到 收集 
bug 信 息 的 工具 ， 再 到 高 党 显示 问题 区 域 的 工具 。 这 一 切 会 把 测试 人 员 
的 注意 力 从 正在 测试 的 应 用 中 转移 走 。 

浏览 器 集成 测试 环境 (BITE〉， 是 一 个 开源 的 。 Chrome ”扩展 
(http://code.google.com/chrome/extensions/index.html) ， 目 标 是 解决 网 
页 测试 体验 问题 〈 见 图 C.) 。 这 个 扩展 必须 连接 到 一 个 服务 器 ， 这 个 
服务 器 提供 你 的 系统 信息 和 bug 信 息 。 获 得 这 些 信 息 以 后 ，BITE 有 能 
提交 bug 报 告 ， 选 择 相 应 的 模板 ， 并 提供 相关 的 网 站 信息 。 

提交 bug 的 时 候 ，BITE 上 自动 抓 取 屏幕 快照 、 链 接 和 问题 所 在 的 用 户 
界面 元 素 ， 然 后 附加 在 bug WEE ME C.2) 。 这 就 为 负责 分 机 和 
(或 ) 修复 这 个 bug 的 开发 人 员 提 供 了 丰富 的 信息 ， 可 以 帮助 他 们 发 现 
问题 的 根源 和 影响 因素 。 

需要 复 现 一 个 bug 的 时 候 ， 测 试 人 员 往 往 需 要 努力 回忆 并 准确 记录 
每 一 步 操 作 。 而 使 用 BITE， 测 试 人 员 在 页 面 上 执行 的 每 步 操 作 都 被 目 
动 记录 成 JavaScript 并 能 在 将 来 进行 回放 。 这 样 ， 工 程 师 就 能 快速 判定 


























在 特定 的 环境 下 复 现 问题 的 步骤 ， 或 者 判断 东 个 代码 变更 是 否 修复 了 特 
定 的 问题 。 
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A 图 C.1 加 入 到 Chrome 浏 览 器 的 BITE 扩 展 程 序 的 菜单 
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A 图 C.2 BITE 扩 展 程序 的 pug 提 交界 面 


在 BITE 中 还 包含 了 一 个 录制 /回放 (RPF) 控制 台 ， 它 将 用 户 的 手 
工 测 试 自 动 化 。 和 BITE 的 录制 功能 类 似 ，RPF 控 制 台 会 自动 生成 
JavaScript 代 码 ， 在 将 来 可 用 于 回放 操作 。 另 外 ，BITE 的 录制 回放 机 制 
还 是 容错 的 。UI 自动 化 测试 有 时 候 可 能 失败 ， 而 这 时 候 往往 是 测试 代 
码 的 问题 而 非 产品 问题 。 这 种 情况 下 ， 当 BITE 回放 失败 的 时 候 ， 测 试 
人 员 可 以 立即 修复 这 个 问题 ， 他 只 需要 在 页 面 上 重复 操作 一 过 就 行 了 。 
这 时 候 没 有 必要 去 改动 代码 或 者 提交 一 个 失败 报告 。 如 果 你 的 脚本 找 不 
到 要 点 击 的 按钮 ， 你 只 需要 再 点 一 下 就 行 了 ， 脚 本 会 被 自动 修复 。 当 你 

必须 要 修改 代码 的 时 候 ， 我 们 使 用 Ace Chttp://ace.ajax.org) 作为 内 联 编 
辑 嚣 ， 你 可 以 实时 修改 你 的 JavaScript 代 码 。 

来 访问 我 们 的 BITE 项 目 页 面 吧 ， 地 址 是 
http:/code.google.comy/p/biteproject。 欢 迎 提交 反馈 意见 到 bite- 
feedback@google.com。 本 文 由 Web 测 试 技术 团队 的 Joe Allan Muharsky 














撰写 。 团 队 成 员 还 有 Jason Stredwick, Julie Ralph. Po Hu 和 Richard 
Bustamante， 是 他 们 共同 创建 的 这 个 产品 。 


C.2 发 布 QualityBot 


2011 年 10 月 6 日 星期 四 下 午 1:52 
http://googletesting.blogspot.com/2011/10/unleash-qualitybots.html 
作者 : Richard Bustamante 

作为 网 站 开发 者 ， 你 想 知 道 Chrome 的 更 新 在 到 达 稳 定 的 发 布 版 本 
之 前 ， 它 是 否 会 导致 你 的 网 站 不 可 用 吗 ? 你 是 否 曾 经 期 绷 有 一 种 简单 的 
办 法 ， 可 以 比较 你 的 网 站 在 ”Chrome 各 个 不 同 的 发 布 版 本 上 的 展现 ? 现 
在 可 以 了 ! 

QualityBots Chttp://code.google.com/p/qualitybots/) 是 Google Web 测 
试 团 队 为 web 开发 者 编写 的 一 天 新 的 开源 工具 。 它 是 利用 像素 级 DOM 
分 析 ， 针 对 Web 页 面 在 ”Chrome 不 同 发 布 版 本 间 的 比较 工具 。 当 一 个 新 
的 Chrome 版 本 发 布 的 时 候 ，QualityBot 可 作为 早期 警告 系统 报告 问题 。 
除 此 之 外 ， 它 还 帮助 开发 人 员 快 速 轻松 地 了 人 解 他 们 的 页 面 在 不 同 的 
Chrome 发 布 版 本 上 会 如 何 展现 。 

QualityBot 的 前 端 构建 于 Google 
AppEngine (http://code.google.com/appengine/) 之 上 ， 后 端的 网 页 抓 取 
器 构建 于 Amazon 的 EC2 服 务 之 上 。 使 用 QualityBot 需 要 一 个 Amazon EC2 
的 账号 局 动 虚拟 机 ， 并 在 虚拟 机 上 使 用 不 同 版 本 Chrome 浏览 器 来 抓 取 
网 页 。 这 个 工具 提供 了 一 个 前 端 页面 ， 让 用 户 可 以 登录 并 提供 需要 抓 取 
的 URL， 图 C.3 显 示 了 最 新 一 次 运行 结果 的 显示 面板 ， 并 同 下 钻 取 得 到 
导致 问题 的 页 面 元 素 的 详细 信息 。 
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A 图 C.3 QualityBot 测 试 运行 结果 示例 〔 网 站 在 不 同 版 本 间 的 演 染 差异 被 显示 出 来 ) 


开发 人 员 和 测试 人 员 ， 可 以 用 这 些 结果 定位 到 由 于 在 不 同 Chrome 
SUA a 差异 而 需要 注意 的 站 点 ， 也 可 以 找到 那些 在 不 同 版 
本 间 渔 染 结 果 完 全 相同 的 站 把 ， 并 快速 ei 如 图 C.4 所 示 。 对 于 没 
变化 的 站 点， 这 样 做 不 仅 市 约 了 时 间 ， 还 节省 了 大 量 烦人 的 兼容 性 测 
试 。 
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A 图 C.4 QualityBot 的 结果 面板 《显示 一 系列 被 测 站 点 在 不 同 Chrome 版 本 间 的 演 染 情况 ) 
我 们 希望 对 此 感 兴趣 的 网 站 开发 人 员 可 以 详细 研究 甚至 加 入 
Qualitybot 项 目 。 项 目 页 面 地 址 是 http://code.google.com/p/qualitybots/。 
非常 欢迎 提交 反馈 信息 到 qualitybots-discuss@googlegroups.com. 
本 文 由 Web 测 试 技术 团队 的 Ibrahim El Far 撰 写 ， 团 队 成 员 还 有 Eriel 
Thomas. Jason Stredwick、Richard Bustamante 和 Tejas Shah， 他 们 共同 
f] it SIX NP" ime 














2011 年 11 月 17 日 星期 四 上 午 5:26 

http://googletesting.blogspot.com/2011/11/rpf-googles-record- 
playbackframework.html 

作者 : Jason Arbon 

在 GTAC(http:/www.gtac.biz/) 大 会 上 ， 很 多 人 问 到 录制 /回放 框架 在 
浏览 器 集成 测试 环境 CBITE ) 

(http://googletesting.blogspot.com/2011/10/takebite-out-of-bugs-and- 

redundant.html) 中 运行 的 怎么 样 。 我 们 开始 对 自己 还 有 所 怀疑 ， 但 最 后 
还 是 决定 试 一 试 。 下 面 就 是 一 些 我 们 在 评估 RPF 效 果 的 背景 ， 以 及 在 这 
个 过 程 中 发 生 的 故事 。 

我 们 的 想法 就 是 让 用 户 在 浏览 器 中 使 用 应 用 程序 ， 记 录 他 们 的 动 
作 ， 保 存 成 JavaScript 代 码 ， 以 后 回放 这 些 动 作 的 执行 ， 用 作 回归 测试 或 
重 现 问 题 。 大 部 分 测试 工具 ， 特 别 是 代码 生成 工具 ， 在 大 部 分 情况 都 能 
运行 的 不 错 ，RPF 也 不 例外 ， 在 大 部 分 时 间 里 都 运行 得 都 插 好 ， 但 这 还 
远 远 不 够 。Po Hu 完成 了 一 个 可 用 的 实验 性 版 本 ， 然 后 决定 在 一 个 真实 
产品 上 试验 一 下 。Po 是 RPF 的 作者 ， 他 和 Chrome 网 上 商店 团队 想 一 起 看 
看 这 个 实验 版 本 能 帮 他 们 做 些 什么 。 为 什么 选择 Chrome 网 上 商店 

(https://chrome.google.com/webstore/) W? 因为 它 含 有 大 量 数据 驱动 的 

用 户 交 界面 、 吴 份 认 证 、 文 件 上 传 等 功能 ， 并 且 它 不 断 地 变化 ， 已 有 的 
Selenium (http:/seleniumhq.org/) 脚本 经 常 失 效 : 这 可 是 Web 测试 上 的 
一 个 大 难题 。 

在 把 这 个 工具 分 享 给 Chrome 网 上 商店 团队 的 测试 开发 人 员 Wensi 




















Liu 之 前 ， 我 们 还 花费 了 不 少时 间 做 了 些 我 们 自 认 为 很 高 明 的 事 : 模糊 
匹配 和 联机 修改 测试 脚本 。Selenium 很 有 用 ， 但 很 多 团队 后 来 都 花费 了 
大 量 的 时 间 来 维护 他 们 最 初 建立 的 Selenium 回归 测试 用 例 集 ， 原 因 是 要 
适应 被 测 产 品 持 续 不 断 的 变化 。 除 了 像 现 有 的 Selenium 自 动 化 测试 那 
样 ， 当 某 个 元 素 找 不 到 的 时 候 直 接 失 败 以 外 ， 也 除了 手工 DOM 检 测 
《更 新 Java 代 码 然后 重新 部 署 、 重 新 运行 、 重 新 修改 测试 代码 ) 以 外 ， 
能 人 否 让 测试 脚本 一 直 保 持 运行 ， 使 得 更 新 代码 像 移动 和 点 击 鼠 标 那样 简 
单 呢 ?我 们 将 跟 中 所 有 被 记录 元 素 的 属性 ， 当 脚本 执行 的 时 候 ， 我 们 会 
计算 被 记录 的 属性 和 取 值 与 运行 时 找到 的 元 素 属 性 和 取 值 的 匹配 程度 。 
如 果 不 是 完全 匹配 ， 但 是 在 一 定 的 容错 范围 内 《如 只 有 它 的 父 节 点 或 类 
属性 变化 了 ) ， 我 们 会 记录 一 条 警告 日 志 信息 ， 然 后 继续 保持 这 个 测试 
用 例 的 执行 。 如 果 下 一 个 测试 步 又 运行 民 好 ， 那 这 个 测试 就 会 继续 执行 
直到 测试 通过 ， 只 留 下 警告 日 志 信 息 。 处 于 调试 模式 时 ， 这 些 测试 会 暂 
停 并 允许 测试 人 员 通 过 BITE 的 界面 ， 使 用 一 些 鼠 标 移 动 和 点 击 操作 来 
快速 更 新 匹配 规则 。 我 们 认为 这 会 降低 测试 失败 的 误 报 率 ， 并 让 脚本 的 
更 新 速度 更 快 。 

我 们 错 了 ， 但 错 得 很 值得 ! 

我 们 让 Liu Wensi 独 自 使 用 RPF 几 天 以 后 跟 他 进行 了 交流 。 他 已 经 用 
RPF 重 新 创建 了 他 的 大 部 分 Selenium 测 试 集 ， 但 这 些 测试 已 经 开始 因为 
产品 变化 而 失败 了 【在 Google， 测 试 人 员 要 跟 上 开发 人 员 改 变 代码 的 频 
率 可 真 不 容易 ) 。 但 他 看 起 来 还 很 高 兴 ， 所 以 我 们 问 他 ， 我 们 新 的 模糊 
匹配 模式 工作 的 好 不 好 。Wensi “Sit, “ 喔 什么 ? 那个 呀 。 不 知道 。 
我 真 没 怎么 用 到 ......” 我 们 开始 考虑 是 不 是 我 们 的 更 新 界面 不 好 用 ， 或 
者 不 容易 找到 ， 或 者 有 问题 不 能 用 了 。 可 是 Wensi 告 诉 我 们 当 测 试用 例 
失败 时 ， 重 新 录制 一 所 脚本 要 容易 得 多 。 他 反正 需要 重新 测试 这 个 产 
品 ， 那 为 什么 不 就 在 进行 手工 测试 验证 功能 的 时 候 把 录制 打开 ， 除 去 原 
来 的 测试 代码 ， 然 后 把 这 个 新 录制 的 脚本 存 下 来 用 于 以 后 的 回放 呢 ? 









































使 用 RPF 的 第 一 个 星期 里 ，Wensi 发 现 了 以 下 这 些 。 

网 上 商店 中 77% 的 功能 通过 RPF 进 行 了 测试 。 

通过 这 个 RPF 的 实验 版 本 生成 回归 测试 脚本 ， 比 原来 用 
Selenium/WebDriver 编 写 测试 脚本 速度 大 约 快 了 八 倍 。 

RPF 脚 本 发 现 了 六 个 功能 回归 问题 ， 以 及 其 他 很 多 间 鞭 性 的 服务 器 
it AUC e 

像 登 录 这 样 的 一 些 通用 步骤 ， 应 该 被 保存 成 可 复 用 的 模块 (我 们 后 
来 开发 了 文 持 这 项 功能 的 版 本 )。 

RPF 能 在 Chrome OS 上 工作 ， 这 点 是 Selenium 不 能 完成 的 ， 因 为 
Selenium 需 要 运行 客户 端 二 进 制 代码 。 

通过 BITE 提 交 的 bug 有 一 个 简单 的 链接 ， 通 过 这 个 链接 开发 人 员 可 
以 在 自己 的 机 器 上 安 半 BITE 并 重新 执行 和 复 现 问题 。 不 再 需要 手工 编 
SEMPR, XRH 

Wensi 希 望 RPF 能 支持 各 种 浏览 占 。 它 现在 只 支持 Chrome， 但 是 人 
们 也 会 偶尔 通过 其 他 浏览 占 访 问 这 个 网 站 。 

我 们 觉得 这 很 有 意思 ， 并 且 继 续 开 发 。 但 是 在 短期 内 ，Chrome 网 
上 商店 的 测试 还 是 恢复 使 用 Selenium， 因 为 剩 下 的 23% 的 功能 需要 一 些 
本 地 Java 代 人 码 来 处 理 文件 上 传 和 安全 检 出 等 场景 。 事 后 看 来 ， 在 服务 器 
问 增 加 一 些 可 测试 性 的 工作 ， 就 可 以 通过 一 些 客户 端的 AJAX 调 用 来 解 
决 这 些 问 题 。 

我 们 在 一 些 大 网 站 上 检验 了 RPF 的 工作 情况 。 测 试 结果 可 以 在 BITE 
项 目的 网 页 上 找到 (https://docs.google.com/spreadsheet/ccc? 
key=0AsbIZrIY VyFOdEJGQV9IWW9McW1fMjit 
RmhzcWkyanc#gid=6) 。 这 个 结果 现在 有 些 过 时 了 ， 在 那 之 后 已 经 有 了 
很 多 改动 ， 但 是 你 可 以 感觉 一 下 哪些 东西 工作 的 不 好 。 现 在 可 以 把 它 当 
做 Alpha 版 本 来 看 。 在 大 多 数 网 站 上 它 工 作 的 很 好 ， 但 是 还 有 一 些 严 重 
的 边缘 情况 处 理 的 不 够 好 。 



































Joe Allan Mubharsky 在 BITE 的 用 户 体 验 设计 方面 做 了 很 多 工作 ， 把 
我 们 原来 笨拙 的 以 开发 人 员 和 功能 为 中 心 的 用 户 体 验 转 变 成 直观 的 设 
计 。Joe 的 重点 是 保持 用 户 界 面 精简 ， 直 到 必要 的 时 候 才 显示 出 来 ， 而 
且 让 各 种 东西 都 尽 可 能 是 自发 现 和 易 获 取 的 。 我 们 还 没有 进行 正式 的 可 
用 性 研究 ， 但 我 们 做 了 多 次 实验 ， 提 供 最 精简 的 使 用 说 明 ， 让 外 部 众 包 
测试 人 员 能 使 用 这 个 工具 ， 也 包括 让 内 部 试用 用 户 使 用 这 个 工具 为 
Google 地 图 产品 报告 缺陷 ， 这 些 用 户 都 没有 对 工具 产生 什么 困惑 。 一 些 
RPF 的 高 级 功能 隐藏 得 有 点 儿 深 ， 可 能 有 一 些 复活 节 彩 重 的 感 党 ， 但 其 
基本 的 录制 和 回放 模式 对 人 们 来 说 还 是 很 直观 的 。 

RPF 己 经 从 中 心 测试 团队 的 实验 性 项 目 正式 发 展 成 为 Chrome 团队 
的 一 部 分 ， 它 被 常规 地 用 来 进行 回归 测试 的 执行 。 他 们 也 密切 关注 使 用 
这 个 工具 的 非 代码 编写 人 群 ， 那 些 使 用 BITE / RPF 生 成 回归 脚本 的 外 包 
测试 人 员 。 

请 加 入 我 们 并 共同 维护 BITE / RPF Chttp://code.google.com/p/bite- 
project/) ， 请 善待 Po Hu 和 Joel Hynoski， 他 们 在 Google 负 责 把 这 个 项 目 
I] Bj HERE e 








2011 年 10 月 19 日 星期 三 下 午 1:03 
http://googletesting.blogspot.com/2011/10/google-test-analytics-now- 


inopen.html 

作者 : Jim Reardon 

测试 计划 已 死 ! 

希望 如 此 。 在 上 周 的 STAR 会 议 上 ，James Wittaker 向 一 帮 专 业 的 测 
试 人 员 问 起 测试 计划 。 他 的 第 一 个 问题 是 “这 里 有 多 少 人 在 写 测试 计 
XJ". 瞬间 有 80 个 人 举 手 ， 占 了 屋子 里 人 的 绝 大 多 数 。 当 他 再 问 “ 那 你 们 
中 有 多 少 人 写 完 一 周 以 后 还 会 用 到 这 些 测试 计划 ”时 只 有 三 个 人 举 手 。 

撰写 那些 元 长 的 、 充 满 了 那些 所 有 人 都 知道 的 项 目 细 市 ， 而 且 很 快 
会 被 废弃 掉 的 文档 ， 这 可 真是 一 项 很 大 的 时 间 消 耗 。 

我 们 在 Google 的 一 些 人 在 着 手 创建 一 种 方法 ， 可 以 取代 测试 计划 。 
它 应 该 是 全 面 的 、 快 速 的 、 可 操作 的 ， 而 且 对 项 目 要 持续 有 效 。 过 去 的 
儿 周 时 间 里 ，James ”已经 及 表 了 有 关 这 一 方法 的 几 篇 博客 ， 我 们 称 为 
ACC， 它 是 一 个 工具 ， 把 软件 产品 分 解 成 逻辑 相关 的 子 模块 。 通 过 这 种 
方法 ， 我 们 创造 了 “10 分 钟 的 测试 计划 ”( 它 只 需要 30 分 钟 )。 

1. 全 面 

ACC 方法 会 创建 一 个 和 矩阵， 完整 地 描述 你 的 项 目 ， 在 Google 内 部 
的 一 些 项 目 使 用 这 个 方法 ， 发 现 了 一 些 在 传统 测试 计划 中 缺失 的 窗 新 区 
域 。 

2. 快 速 











ACC 方 法 非 利 快 : 我们 为 复杂 的 项 目 创建 ACC 分 解 只 需要 不 到 半 
小 时 ， 这 比 写 一 个 常规 的 测试 计划 快 得 多 。 

3. 可 操作 

作为 ACC 分 解 的 一 部 分 ， 你 的 应 用 程序 功能 的 各 种 风险 是 被 评估 
的 。 有 了 这 些 结果 ， 你 就 得 到 了 一 份 项 目的 热点 图 ， 显 示 了 风险 最 高 的 
区 域 ， 那 就 是 应 该 多 花 一 些 时 间 仔 细 测 试 的 地 方 。 

4. 持 续 有 效 

我 们 已 经 建立 了 一 些 实验 性 的 功能 ， 通 过 引入 进行 中 的 数据 ， 使 你 
的 ACC 测 试 计划 动态 更 新 。 我 们 加 入 诸如 缺陷 和 测试 履 六 度 等 数据 信 
写 ， 量 化 项 目 进 行 中 的 风险 。 

今天 ， 我 很 高 兴 的 宣布 我 们 的 测试 分 析 系 统 开源 了 
(http://code.google.com/p/test-analytics/) ， 它 是 Google 开 发 的 一 个 工 
有 具 ， 简 化 了 ACC 的 生成 。 

测试 分 析 系 统 主要 有 两 个 部 分 : 首先 也 是 最 重要 的 ， 它 是 一 个 分 步 
PR BE ACCHEME CULAIC.S) 的 辅助 工具 ， 相 比较 以 前 我 们 在 没有 这 
个 工具 的 时 候 用 的 电子 表格 ， 它 更 快 、 更 简单 〈 见 图 C.6) 。 它 还 提供 
了 对 AcCC 和 矩阵 和 软件 功能 风险 的 可 视 化 功能 ， 这 是 使 用 简单 的 电子 表格 
很 难 或 不 可 能 做 到 的 ， 如 图 C.7 所 示 。 
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Simple Web Store 
Attributes 


Attributes are ways a marketer would describe your application, such as "Fast" or "Secure". 
Attributes in the ACC model allow you to map Capabilities to business requirements. Learn more 


Secure 


| Enter description of this attribute 














| owner: margo(Qexample | tester: quentin@example | 


The tests performed for this attribute are sufficient to verify its operation. 


Simple 


|Enter description of this 





attributa 





owner: alaska@example | 





_ The tests performed for this attribute are sufficient to verify its operation. 


Fast 


| This should be speedy. 





全 图 C.5 在 Test Analytics 中 定义 一 个 项 目的 特质 
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Simple Web Store 


Capabilities 


Capabilities are what your application actually does; they are just like features, except they are tied to 
Components a specific Attribute and Component pair. Learn more 




















- Capabilities by Attribute and Component 
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Social is Secure 


User purchases not revealed outside granted 
permission. 


User social graph not disclosed without permission. 





A 图 C.6 在 Test Analytics 中 显示 项 目的 能 
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Project Spec 
About Project Known Risk 


^us This shows the Total Risk to your application, taking into account any Risk Sources as well as 
Components Mitigation Sources that are checked below. Learn more 
Capabilities 
M inherent risk Bugs MCodechum @ Test coverage 
Risk displayed by Attribute and Component 
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Social is Secure 


User purchases not revealed outside granted permission. 


r social graph not disclosed without permission. 





和 图 C.7 在 Test Analytics F se zs i RI ZH PER BE HP ES AUS 


第 二 个 部 分 使 ACC 计 划 的 风险 矩阵 能 够 自动 更 新 。 要 做 到 这 一 点 ， 
测试 分 析 系 统 从 你 的 项 目 中 导入 质量 信号 : bug、 测 试用 例 、 测 试 结 
果 ， 以 及 代码 变化 。 通 过 导入 这 些 数据 ， 测 试 分 析 系 统 让 你 可 以 可 视 化 
地 显示 风险 ， 它 不 再 是 估计 或 猜测 ， 而 是 基于 定量 数据 分 析 的 结果 。 如 
果 你 的 项 目 模块 或 者 功能 发 生 了 大 量 代码 变更 ， 或 者 还 有 很 多 缺陷 没有 
修复 ， 抑 或 是 还 没 通过 验证 ， 那 相应 区 域 的 风险 就 会 升 高 。 工 具 的 测试 
结果 部 分 可 以 提供 化 解 这 些 风 险 的 方法 ， 如 果 对 某 区 域 执行 了 测试 并 导 
入 了 测试 通过 的 结果 ， 那 该 区 域 的 风险 就 会 降低 。 

这 一 部 分 仍然 是 实验 性 的 。 我 们 还 在 调试 基于 这 些 输入 信号 ， 如 何 
计算 才能 最 准确 地 确定 风险 ， 如 图 C.8 所 示 。 然 而 ， 我 们 希望 尽早 地 发 

















布 这 个 功能 ， 这 样 可 以 从 测试 社区 获得 这 个 功能 的 使 用 反 饿 ， 然 后 不 断 
迭代 让 这 个 工具 更 加 有 用 。 如 采 能 有 更 多 的 输入 信和 号 也 会 更 好 ， 如 代码 
复杂 度 、 静 态 代码 分 析 、 代 人 码 履 盖 度 、 外 部 用 户 反馈 等 ， 这 些 都 是 我 们 
想到 的 可 以 加 入 的 更 高 层次 的 动态 数据 。 

你 可 以 体验 一 下 托管 版 本 Chttp://goo.gl/Cv2QB) ， 查 看 或 导出 代 
码 Chttp://code.google.com/p/test-analytics/) 和 文档 





(http://code.google.com/p/test-analytics/wiki/AccExplained) 。 当 然 ， 如 
果 你 有 任何 意见 ， 请 让 我 们 知晓 。 我 们 会 在 这 个 Google Group 讨论 组 
(http://groups.google.com /group/test-analytics-discuss) 分 享 我 们 已 有 的 
测试 分 析 系 统 的 使 用 经 验 并 积极 解答 问题 。 
测试 计划 永生 ! 





A 图 C.8 在 Test Analytics 中 关联 bug 和 测试 用 例 数据 
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分 出 现 
Bug 缺陷 
SWE 软件 开发 工程 师 
SET 软件 测试 开发 工程 师 
TE 测试 工程 师 
TEM 测试 工程 经 理 
Test Engineering Director 测试 总 监 
Tech Lead 技术 负责 人 
Tech Lead Manager 技术 主管 
Test Engineering Manager 测试 工程 经 理 














Senior Test Director 资深 测试 总 监 
SVP 高 级 副 总 裁 
Focus Areas，FA 专注 领域 
Small Test 小 型 测试 
Medium Test 中 型 测试 
Large Test 大 型 测试 

Test Size 测试 大 小 
End-to-End Test 端 到 端 测试 
Canary Channel TAERE 
Dev Channel 开发 版 本 

Test Channel 测试 版 本 

Beta Channel or Release Channel Beta 版 本 或 发 布 版 本 





Test Harnesses 


测试 框架 
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Test Infrastructure 测试 基础 框架 、 体 系 

Test Artifact 测试 产物 

Mock Object 模拟 对 象 

Fake Object 虚假 对 象 

Google 谷歌 

Googler 谷歌 员工 

Noogler 谷歌 新 员工 

Test Certified 测试 认证 

Key Result (OKR) 绩效 

TGIF 感谢 上 帝 今 天 已 是 星期 五 (Thank God it's Friday)， 谷 歌 早 期 的 周 五 公司 例会 
Dogfood 狗 食 ， 内 部 试用 

Developer 开发 人 员 、 开 发 者 、 开 发 
Tester 测试 人 员 、 测 试 者 、 测 试 
Exploratory Testing 探索 式 测 试 

ACC 特质 、 组 件 、 能 力 〔 一 种 把 系统 划分 为 逻辑 相关 子 模块 的 方法 ) 
Browser Integrated Test Environment 浏览 器 集成 测试 环境 

HUD 平视 显示 器 

Test Case/Test 测试 用 例 

Bug Triage 三 方 Bug 讨论 (PM, DEV, Test) 
Google Test Analytics 谷歌 测试 分 析 系 统 

Google Test Case Manager (GTCM) 谷歌 测试 用 例 管理 系统 
User-Developer 用 户 开 发 者 

Free Testing Workflow 零 成 本 测试 流程 

Pirate Leadership 海盗 领导 力 

Maintenance Mode Testing 维护 模式 的 测试 
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